Data engineer
Требования
Местоположение и тип занятости
Компания
ИТ-компания в составе группы компаний «Спортмастер»
Описание вакансии
Условия работы
Мы находимся в поиске Data engineer'a, который будет заниматься развитием направлений: "Цифровая аналитика", "Антифрод", " Платформа DataLake".
Ваши задачи:
- Реализация ETL в Hadoop (с помощью Airflow).
- Работа с различными источниками данных: Oracle, MS SQL, API личных кабинетов, микросервисы.
- Батч и стримы с помощью PySpark и Kafka.
- Подготовка витрин для анализа (Hive + Spark+ SQL)
Наш стек: Ванильный hadoop; Kafka, Spark, Airflow; ClickHouse; Jira; Confluence; GitLab
Мы ждем от будущих коллег:
- Уверенное владение Python.
- Опыт использования эко-системы Hadoop: HDFS, Apache AirFlow, Hive, Kafka,Spark.
- Знание SQL
- Опыт работы с реляционными базами данных (Oracle).