ETL разработчик/ Data engineer

В SberData мы создаем централизованное хранилище данных всего Сбера. Это более 350 источников данных и 100+ Пб информации, заказ и получение данных за 15 минут и современный технологический стек работы с данными, включая собственные сборки СУБД на базе Hadoop и Greenplum.
Наши решения отмечены международной премией Data Award в 2021г, а лидеры, обладающие уникальными знаниями в разработке кода и современном технологическом стеке С, Scala, Java, Python, Hadoop, Teradata, Oralce и др., являются участниками организации-фонда Apache Foundation. Масштаб задач, объемы данных, сложности финансовых процессов — мы все время на передовой современных технологий, а где-то и создаем их. Будем рады видеть в нашей команде системных разработчиков ClickHouse, DevOps-инженеров, системных администраторов, специалистов по разработке Scala/Java, разработчиков Python и специалистов других профилей.

Проект: Интеграция 2-х крупнейших платформ Банка: ППРБ (Платформа поддержки развития бизнеса) и КАП (Корпоративная аналитическая платформа). Реализация механизмов и автоматизация процессов поставки данных продуктовых систем Банка в Корпоративную аналитическую платформу на базе экосистемы Hadoop в near real time режиме.

Тебе предстоит:

• участие в сложных интеграционных проектах по развитию гибридного DWH Сбербанка (Hadoop, Oracle, Kafka) в роли разработчика или лидера разработки;
• разработка и проектирование потоков данных, алгоритмов загрузки и обработки данных в Hadoop;
• оптимизация и настройка производительности ETL-процессов;
• анализ и тестирование существующих решений в технологическом стеке Hadoop;
• разработка конфигурации прикладной репликации данных;
• оценка трудозатрат задач по проекту, планирование исполнения задач;
• организация взаимодействия членов интеграционной команды;
• участия в разработке и оптимизации процессов тиража.

• конкурентная компенсация (оклад и премии по результатам деятельности);
• ДМС, страхование жизни;
• бесплатный фитнес-зал в БЦ;
• льготные кредиты и корпоративные скидки;
• карьерный рост в команде дружных профессионалов;
• корпоративное обучение, семинары, тренинги, конференции, библиотека;
• инновационные и амбициозные проекты и задачи;
• свободный дресс-код.

• фундаментальные знания принципов построения распределенных систем хранения и обработки данных;
• наличие опыта работы с экосистемой Hadoop (HDFS, Hive, Impala, HBase, Oozie, Yarn, Kafka) будет плюсом;
• опыт работы с реляционными СУБД;
• хорошее знание SQL, PL/SQL;
• навыки работы с Unix shell, системами версионирования кода;
• опыт работы с гибкими методологиями и инструментами разработки (Agile);
• приветствуется опыт работы с промышленными ETL-инструментами;
• приветствуется опыт программирования на Scala/Java;
• опыт работы с инструментами компании Atlassian;
• фундаментальные знания принципов работы RDBMS.