Data engineer
Требования
Местоположение и тип занятости
Компания
Описание вакансии
Условия работы
Мы находимся в поиске Ведущего Data engineer'a, который будет заниматься развитием направлений :Цифровая аналитика "Антифрод", "Инфраструктура DataLake".
Ваши задачи:
-
Реализация ETL в Hadoop (с помощью Airflow).
-
Работа с различными источниками данных: Oracle MS SQL API личных кабинетов, микросервисы.
-
Батч и стримы с помощью PySpark и Kafka.
-
Подготовка витрин для анализа (Hive + Spark+ SQL)
Наш стек: Cloudera hadoop; Kafka, Spark, Airflow; Jira; Confluence; GitLab
Мы ждем от будущих коллег:
- Уверенное владение Python.
- Опыт использования эко-системы Hadoop: HDFS, Apache AirFlow, Hive, Kafka,Spark.
- Знание SQL
- Опыт работы с реляционными базами данных (Oracle).
Бонусы
Работаем в удобном формате: возможно удаленное рабочее место!
Дисконтная карта 30% (Sportmaster, Ostin, Funday)
Обучение как внутри компании, так и у партнеров
Медицинское страхование
за счет компании
Зарплата + полугодовые премии