Data Engineer

Зарплата

от 200 000 до 300 000 ₽

Требования

Бэкенд, Средний (Middle)JavaSQLScala

Местоположение и тип занятости

Санкт-ПетербургПолный рабочий день

Компания

Крупнейшая цифровая платформа. Технобренд, объединяющий лучшие мировые практики и самый современный стек

Описание вакансии

Условия работы

Мы ищем в команду специалиста по работе с данными.

Чем мы занимаемся:

  • Построением промышленных рекомендательных систем для продажи продуктов экосистемы и продуктов банка, встраивание их в сквозные бизнес-процессы банка.
  • Ранжированием предложений компаниям для их приоритезации с учетом контактных политик банка.

Функциональные обязанности:

  1. Обеспечение сбора и организация процесса загрузки данных в аналитические системы, включая получение структурированных и не структурированных данных из различных источников, преимущественно Kafka, подготовку, очистку и предобработку данных из внешних источников, построение агрегатов, выявление триггерных событий;
  2. Написание качественного ETL процесса: код бизнес логики, оркестрация, сборка дистрибутива процессами CI/CD;
  3. Разработка новых потоков обработки исходя из требований аналитиков данных;
  4. Ревью кода на предмет соответствия стандартам Банка;
  5. Вывод потоков в ПРОМ (при поддержке девопса);

Навыки и опыт работы:

  • Опыт работы по направлению от 2 лет;
  • Хорошее знание SQL: умение оптимизировать сложные запросы, понимание принципов работы различных типов JOIN как в РСУБД, так и в фреймворках типа Hive/Spark/Flink;
  • Опыт промышленной разработки на Java/Scala 
  • Хорошие знания компонентов Spark: spark core, spark sql, spark streaming;
  • Опыт работы с git, cli linux;

Как преимущество:

  • Опыт работы с Hadoop (hdfs, yarn)
  • Знание особенностей программирования в распределённых системах
  • Опыт работы с лямбда-архитектурой
  • Опыт работы с Flink
  • Опыт работы с Apache Oozie, Apache Airflow
  • Опыт работы с Kerberos, Apache Sentry, Apache Ranger
  • Опыт работы с noSql базами: Hbase, Cassandra, Mongo.

Мы предлагаем:

  • Достойную заработную плату (оклад + годовая премия).
  • Современные рабочие места и программное обеспечение.
  • ДМС, корпоративная пенсионная программа.
  • Офис в 5 минутах от ст. м. Нарвская.
  • Спортзал в офисе.
  • Возможность посещения конференций, обучения и сертификации за счет компании.
  • Программу льготного кредитования в Сбербанке.
  • Дисконт-программы от множества компаний партнеров.
  • Возможность принять участие в других крупных и уникальных проектах банка.