Data Engineer

В команду графов кластера «Data Science и клиентская аналитика» корпоративного блока Сбербанка мы ищем специалистов по работе с данными. Часть команды уже функционирует в московском офисе, в Санкт-Петербурге расширяется команда. Вам предстоит работать с графами связей, строить витрины данных, использующиеся для построения моделей и автоматизации.

Обязанности:

• Обеспечение сбора и организация процесса загрузки данных в аналитические системы, включая получение структурированных и не структурированных данных из различных источников, подготовку, очистку и предобработку данных из внешних источников, построение агрегатов
• Написание ETL процессов на стеке Spark+Hadoop для построения витрин Геоданных
• Создание собственного фреймворка на языке Scala для работы с экосистемой Hadoop и внутренними сервисами банка

Требования:

• Опыт работы по направлению от 1 года
• Хорошее знание SQL: индексы и их применение, написание хранимых процедур, создание витрин (желателен опыт оптимизации)
• Scala\Java, (Python)
• Понимание процессов ETL, ELT

Будет плюсом:

• Знание Spark, PySpark, особенности написания кода для стека Hadoop, Spark, использование UDF
• Знание особенностей программирования в распределённых системах
• Опыт работы с noSql базами

Мы предлагаем:

• возможность работы с новыми технологиями;
• корпоративное обучение и возможность получить новую квалификацию за счет компании
• комфортный офис;
• стабильный оклад и премии по итогам работы
• ипотеку выгоднее на 4% для каждого сотрудника
• льготные условия кредитования
• ДМС с первого дня и льготное страхование для близких
• бесплатную подписку СберПрайм+, скидки на продукты компаний-партнеров: Okko, Сбер Маркет, Delivery Club, Самокат, Ситимобил, Сбер Еаптека и других
• корпоративную пенсионную программу