Data Engineer

20 апреля 2021

Зарплата

от 200 000 до 300 000 ₽

Санкт-Петербург • Полный рабочий день

Крупнейшая цифровая платформа. Технобренд, объединяющий лучшие мировые практики и самый современный стек

Мы ищем в команду специалиста по работе с данными.

Чем мы занимаемся:

Построением промышленных рекомендательных систем для продажи продуктов экосистемы и продуктов банка, встраивание их в сквозные бизнес-процессы банка.
Ранжированием предложений компаниям для их приоритезации с учетом контактных политик банка.

Функциональные обязанности:

Обеспечение сбора и организация процесса загрузки данных в аналитические системы, включая получение структурированных и не структурированных данных из различных источников, преимущественно Kafka, подготовку, очистку и предобработку данных из внешних источников, построение агрегатов, выявление триггерных событий;
Написание качественного ETL процесса: код бизнес логики, оркестрация, сборка дистрибутива процессами CI/CD;
Разработка новых потоков обработки исходя из требований аналитиков данных;
Ревью кода на предмет соответствия стандартам Банка;
Вывод потоков в ПРОМ (при поддержке девопса);

Навыки и опыт работы:

Опыт работы по направлению от 2 лет;
Хорошее знание SQL: умение оптимизировать сложные запросы, понимание принципов работы различных типов JOIN как в РСУБД, так и в фреймворках типа Hive/Spark/Flink;
Опыт промышленной разработки на Java/Scala
Хорошие знания компонентов Spark: spark core, spark sql, spark streaming;
Опыт работы с git, cli linux;

Как преимущество:

Мы предлагаем: