Data engineer

Местоположение и тип занятости

МоскваПолный рабочий деньМожно удаленно

Компания

ИТ-компания в составе группы компаний «Спортмастер»

Описание вакансии

Условия работы

Мы находимся в поиске Data engineer'a, который будет заниматься развитием направлений : "Цифровая аналитика" "Антифрод", "Инфраструктура DataLake".

Ваши задачи:

  • Реализация ETL в Hadoop (с помощью Airflow).

  • Работа с различными источниками данных: Oracle,MS SQL API личных кабинетов, микросервисы.

  • Батч и стримы с помощью PySpark и Kafka.

  • Подготовка витрин для анализа (Hive + Spark+ SQL)

Наш стек: Cloudera hadoop; Kafka, Spark, Airflow; Jira; Confluence; GitLab

Мы ждем от будущих коллег:

  • Уверенное владение Python.
  • Опыт использования эко-системы Hadoop: HDFS, Apache AirFlow, Hive, Kafka,Spark.
  • Знание SQL
  • Опыт работы с реляционными базами данных (Oracle).

Бонусы

Дополнительные инструкции