Разработчик DWH (ETL)

Наша команда «Управление развития аналитических решений и кампаний продаж» Департамента ИТ блока "Управление благосостоянием" занимается развитием аналитической платформы для управления инвестиционной деятельностью группы Сбербанк. Мы собираем данные, связанные с деятельностью дочерних компаний Банка, обрабатываем их и предоставляем пользователям в удобном и доступном виде. Данные нашей платформы используются для формирования управленческой отчетности нашего блока, а также доступны клиентам банка в мобильных приложениях для анализа своих финансов или предоставления рекомендаций, подготовленных с использованием искусственного интеллекта.

Общее описание:

Мы ищем «Разработчика хранилищ/витрин данных», способного принять активное участие в развитии детального слоя хранилища, а также в построении витрин данных. Данная роль предусматривает построение оптимальных ETL-потоков в соответствии с предоставленными алгоритмами, используя все возможности технологии Big Data.

Функции:

• Проектирование и разработка ETL-потоков внутри экосистемы Hadoop;
• Выстраивание потоков зависимостей загрузок;
• Формирования совместно с архитектором стандартов разработки;
• Реализация онлайн проверок качества загружаемых данных;
• Проверка архитектурных гипотез на практике;
• Выработка предложений по выбору инструментов для наиболее эффективной реализации задач;

Требования

• Высшее техническое\математическое образование;
• Опыт работы на проектах построения Хранилищ данных в качестве ETL-разработчика или архитектора (обязательно);
• Опыт работы с одной из промышленных СУБД: Oracle, TeraData, Greenplum (обязательно);
• Умение писать сложные SQL-запросы (обязательно);
• Опыт оптимизации ETL-потоков;
• Опыт выстраивания зависимостей загрузки;
• Опыт реализации переиспользуемых процедур: Интеграции данных, Формирования бизнес и технической-истории, формирования суррогатных ключей и так далее.
• Знакомство или опыт практической работы со следующими инструментами: Hadoop, HBase, Spark, Apache NiFi, Impala, Kudu, Kafka, Solr, ElasticSearch (желательно);
• Знания Java (желательно).

Будет плюсом, если ты:

• Понимаешь методологии Agile, DevOps;
• Есть опыт работы с Jira, Confluence;
• Имеешь хорошую стрессоустойчивость, обучаемость, умение работать в команде, клиентоориентированность;
• Знакомы с терминологией и процессами на финансовых рынках, с бизнес-процессами работы инвестиционной (управляющей) компании.

Стэк:

• У нас есть батчевые расчеты с классическим DWH по Инмону и по Кимбалу. На батче: Spark (Scala/Java), Informatica PC, Teradata, PostgreSQL, Oracle, GreenPlum, Hadoop;
• Есть кэш для фронтов на HBASE/SOLR;
• Есть Kafka и NiFi для real-time обработки потоковых данных;
• Kомитим код в bitbucket, есть собственные фрейсворки и devops pipeline. Обязательное покрытие тестами;
• Самописный гетерогенный оркестровщик.

Мы предлагаем:

• Масштабные и высоконагруженные проекты с использованием новых технологий;
• Команду профессионалов, готовых поддержать ваши инициативы;
• Возможность обучения и сертификации за счёт компании;
• Гибкий график работы;
• Трудоустройство согласно трудовому кодексу;
• Белую заработную плату (оклад + годовая премия);
• Медицинскую страховку;
• Материальную поддержку в особых случаях;
• Отсутствие строгого дресс-кода.

Сбер - это современная техническая платформа, создающая новые способы потребления финансовых (и не только) услуг. Мы собираем лучшие технологии и управленческие методы из мировой практики, чтобы превратить «главный» банк России в передовую сервисную экосистему. Если тебе нравится эта идея, присоединяйся к нашей команде.