Разработчик ETL-процессов

SberData – департамент по управлению данными всего Сбербанка. SberData строит централизованное хранилище данных, объем которого уже превышает 10 ПБ. Это продуктово-ориентированная инженерная команда с функциями развития выделенных технологических направлений, отражающих новый подход Сбербанка к данным и к применению AI.

Проект: Интеграция 2-х крупнейших платформ Банка: ППРБ (Платформа поддержки развития бизнеса) и КАП (Корпоративная аналитическая платформа). Реализация механизмов и автоматизация процессов поставки данных продуктовых систем Банка в Корпоративную аналитическую платформу на базе экосистемы Hadoop в near real time режиме.

Наша команда находится в поисках Разработчика ETL.

Задачи:

• Участие в сложных интеграционных проектах по развитию гибридного DWH Сбербанка (Hadoop, Oracle, Kafka) в роли разработчика\руководителя разработки;
• Разработка и проектирование потоков данных, алгоритмов загрузки и обработки данных в Hadoop;
• Оптимизация и настройка производительности ETL-процессов;
• Анализ и тестирование существующих решений в технологическом стеке Hadoop;
• Разработка репликации БД с помощью Kafka;
• Оценка трудозатрат по проекту, планирование исполнение задач;
• Подготовка отчетности по проекту;
• Общая организация работы интеграционной команды;
• Участия в разработке и оптимизации процессов тиража.

Требования:

• Фундаментальные знания принципов построения распределенных систем хранения и обработки данных;
• Наличие опыта работы с экосистемой Hadoop (HDFS, Hive, Spark, Impala, HBase, Cassandra);
• Опыт работы с реляционными СУБД (Oracle, MS SQL);
• Хорошее знание SQL, PL/SQL, навыки оптимизации запросов;
• Навыки работы с Unix shell, системами версионирования кода;
• Опыт работы с гибкими методологиями и инструментами разработки (Agile);
• Приветствуется опыт работы с промышленными ETL-инструментами;
• Приветствуется опыт программирования на Scala/Java;
• Опыт работы с инструментами компании Atlassian;
• Фундаментальные знания принципов работы RDBMS;
• Опыт работы с Confluence и Jira;
• Хорошая коммуникабельность.

Предметная область

• BigData;
• Знания предметной области «Банки и финансы» является плюсом.

Условия:

• Гибкий график для оптимального баланса работы и личной жизни;
• Бесплатный фитнес-зал в БЦ;
• Профессиональное обучение, семинары, тренинги, конференции, корпоративная библиотека;
• ДМС, страхование жизни;
• Самые инновационные, амбициозные проекты и задачи;
• Свободный дресс-код;
• Льготные кредиты и корпоративные скидки.

Вы можете отправлять свои резюме на почту KSShaburova@sberbank.ru или в telegram @hello_intelligence