Разработчик Spark/Hadoop (Брокерский бизнес)

Мы молодая команда, которая занимается построением хранилища данных брокерского бизнеса Сбера.

Задачи:

• проектирование и разработка CTL/ETL-потоков на Spark
• участие в проектировании хранилища данных Брокера
• поддержка внедрения функционала на всех этапах
• загрузка и преобразование сырых данных в хранилище.

• понимание принципов и основ реляционных не реляционных баз данных
• построение кластерных решений хранилищ данных
• опыт разработки на любом языке программирования;
• понимание системы Hadoopи ее различных компонентов (HDFS)
• опыт разработки на Hive, Spark (PySpark , Spark Java Framework)
• уверенные знания SQL, желательно PostgreSQL.

Будет преимуществом:

• опыт работы с ETL средствами (Informatica, Spark, NiFi)
• опыт работы с Apache Kafka и/или MQ
• знание основ проектирования хранилищ данных
• опыт работы с Greenplum.

• работа в современном офисе в г. Казани (IT-парк им.Б.Рамеева)
• формат работы обсуждается на собеседовании (офис в Казани или гибрид, мы работаем из региона присутствия)
• возможности в самореализации, помощь в построении карьерного трека и менторинг
• корпоративное обучение, развитые профсообщества
• ежегодно индексируемая, стабильная заработная плата, годовой бонус
• ДМС с первого рабочего дня
• материальная помощь и социальная поддержка в сложных жизненных ситуациях
• корпоративные мероприятия и активности
• льготные условия кредитования и ипотеки, скидки по программе СберПрайм+