ETL разработчик

SberData – департамент по управлению данными всего Сбербанка. SberData строит централизованное хранилище данных, объем которого уже превышает 10 ПБ. Это продуктово-ориентированная инженерная команда с функциями развития выделенных технологических направлений, отражающих новый подход Сбербанка к данным и к применению AI. Руководители Департамента – высококвалифицированные эксперты, участники Apache Foundation, обладающие уникальными знаниями в разработке кода и современном технологическом стеке (Hadoop, Teradata, Oracle и многое другое). Благодаря нашему размеру, нашим объёмам данных, сложности финансовых процессов, проблемы, с которыми мы сталкиваемся, заставляют нас все время быть на передовой современных технологий, а где-то и создавать их.

Проект: Интеграция 2-х крупнейших платформ Банка: ППРБ (Платформа поддержки развития бизнеса) и КАП (Корпоративная аналитическая платформа). Реализация механизмов и автоматизация процессов поставки данных продуктовых систем Банка в Корпоративную аналитическую платформу на базе экосистемы Hadoop в near real time режиме.

Тебе предстоит:

• участие в сложных интеграционных проектах по развитию гибридного DWH Сбербанка (Hadoop, Oracle, Kafka) в роли разработчика\руководителя разработки;
• разработка и проектирование потоков данных, алгоритмов загрузки и обработки данных в Hadoop;
• оптимизация и настройка производительности ETL-процессов;
• анализ и тестирование существующих решений в технологическом стеке Hadoop;
• разработка репликации БД с помощью Kafka;
• оценка трудозатрат по проекту, планирование исполнение задач;
• подготовка отчетности по проекту;
• общая организация работы интеграционной команды;
• участия в разработке и оптимизации процессов тиража.

От тебя ждём:

• фундаментальные знания принципов построения распределенных систем хранения и обработки данных;
• наличие опыта работы с экосистемой Hadoop (HDFS, Hive, Spark, Impala, HBase, Cassandra);
• опыт работы с реляционными СУБД (Oracle, MS SQL);
• хорошее знание SQL, PL/SQL, навыки оптимизации запросов;
• навыки работы с Unix shell, системами версионирования кода;
• опыт работы с гибкими методологиями и инструментами разработки (Agile);
• приветствуется опыт работы с промышленными ETL-инструментами;
• приветствуется опыт программирования на Scala/Java;
• опыт работы с инструментами компании Atlassian, Confluence, Jira;
• фундаментальные знания принципов работы RDBMS.

Мы предлагаем:

• гибкий график для оптимального баланса работы и личной жизни;
• бесплатный фитнес-зал в БЦ;
• профессиональное обучение, семинары, тренинги, конференции, корпоративная библиотека;
• ДМС, страхование жизни;
• свободный дресс-код;
• льготные кредиты и корпоративные скидки.