ETL разработчик

SberData – департамент по управлению данными всего Сбербанка. SberData строит централизованное хранилище данных, объем которого уже превышает 10 ПБ. Это продуктово-ориентированная инженерная команда с функциями развития выделенных технологических направлений, отражающих новый подход Сбербанка к данным и к применению AI.

Проект: Интеграция 2-х крупнейших платформ Банка: ППРБ (Платформа поддержки развития бизнеса) и КАП (Корпоративная аналитическая платформа). Реализация механизмов и автоматизация процессов поставки данных продуктовых систем Банка в Корпоративную аналитическую платформу на базе экосистемы Hadoop в near real time режиме.

Наша команда находится в поисках Разработчика ETL.

Тебе предстоит:

• участие в сложных интеграционных проектах по развитию гибридного DWH Сбербанка (Hadoop, Oracle, Kafka) в роли разработчика или лидера разработки;
• разработка и проектирование потоков данных, алгоритмов загрузки и обработки данных в Hadoop;
• оптимизация и настройка производительности ETL-процессов;
• анализ и тестирование существующих решений в технологическом стеке Hadoop;
• разработка репликации БД с помощью Kafka;
• оценка трудозатрат по проекту, планирование исполнения задач;
• подготовка отчетности по проекту;
• общая организация работы интеграционной команды;
• участия в разработке и оптимизации процессов тиража.

От тебя ждём:

• фундаментальные знания принципов построения распределенных систем хранения и обработки данных;
• наличие опыта работы с экосистемой Hadoop (HDFS, Hive, Spark, Impala, HBase, Cassandra) будет плюсом;
• опыт работы с реляционными СУБД (Oracle, MS SQL);
• хорошее знание SQL, PL/SQL, навыки оптимизации запросов;
• навыки работы с Unix shell, системами версионирования кода;
• опыт работы с гибкими методологиями и инструментами разработки (Agile);
• приветствуется опыт работы с промышленными ETL-инструментами;
• приветствуется опыт программирования на Scala/Java;
• опыт работы с инструментами компании Atlassian;
• фундаментальные знания принципов работы RDBMS.

Мы предлагаем:

• конкурентная компенсация (оклад и премии по результатам деятельности);
• ДМС, страхование жизни;
• бесплатный фитнес-зал в БЦ;
• льготные кредиты и корпоративные скидки;
• карьерный рост в команде дружных профессионалов;
• корпоративное обучение, семинары, тренинги, конференции, библиотека;
• инновационные и амбициозные проекты и задачи;
• свободный дресс-код;
• гибкий график для оптимального баланса работы и личной жизни.

Откликайся - мы ответим на любые вопросы по вакансии!