Data Engineer

В команду графов кластера «Data Science и клиентская аналитика» корпоративного блока Сбербанка мы ищем специалистов по работе с данными. Часть команды уже функционирует в московском офисе, в Санкт-Петербурге набирается новая команда. Команде предстоит работать с графами связей, строить витрины данных, использующиеся для построения моделей и автоматизации, применять алгоритмы машинного обучения для построения моделей.

Функциональные обязанности:

Обеспечения сбора и организация процесса загрузки данных в аналитические системы, включая получение структурированных и не структурированных данных из различных источников, подготовку, очистку и предобработку данных из внешних источников, построение агрегатов
Исследование источников данных
Создание алгоритмов загрузки данных в витрины
Написание функций и хранимых процедур для преобразования и агрегации данных
Настройка первичной обработки данных от источников (очистка, обогащение и т.д.)
Управление качеством данных
Разработка новых витрин/объектов исходя из требований аналитиков данных

Навыки и опыт работы:

Опыт работы по направлению от 2 лет
Хорошее знание SQL: индексы и их применение, написание хранимых процедур, создание витрин (желателен опыт оптимизации)
Python, знание стандартных структур данных python
Понимание процессов ETL, ELT

Как преимущество:

Опыт работы с Teradata
Знание Spark, PySpark, особенности написания кода для стека Hadoop, Spark, использование UDF
Знание особенностей программирования в распределённых системах
Опыт работы с noSql базами

Трудоустройство согласно ТК РФ;
Фиксированный оклад + квартальное премирование и годовой бонус;
ДМС, страхование от несчастных случаев, социальные гарантии;
Участие в различных конференциях для DE;
Корпоративное обучение обучение;
Прямо в офисе бесплатный фитнес-зал с душевыми кабинами, настольный теннис, кикер;