Data Engineer (удаленно)

Местоположение и тип занятости

Полный рабочий деньМожно удаленно

Компания

Российский телеком-оператор с 50 миллионами клиентов и 30 тысячами сотрудников

Описание вакансии

Условия работы

Задачи:

  • Анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами)
  • Поиск и исследование источников данных для последующей интеграции
  • Оценка пригодности, качества исходных данных
  • Разработка ETL процессов на Spark
  • Оркестрация ETL процессов в Airflow
  • Проектирование баз данных
  • Создание конвейеров данных NiFi

В своей работе DE используют следующий стек технологий:

  • Экосистема Hadoop – HDFS, YARN, Hive, HBase
  • ETL-процессы – Spark (Scala)
  • Потоковая обработка – NiFi, Flink
  • Брокер сообщений – Kafka
  • Оркестрация ETL процессов – Airflow
  • СУБД – PostgreSQL, Greenplum, Aerospike, Oracle, SQL Server
  • CI/CD – GitLab

Бонусы

  • ДМС
  • Страхование жизни, страхование от несчастных случаев и страхование от критических заболеваний
  • Страхование выезжающих за рубеж
  • Материальная помощь по рождению ребенка, смерти близкого родственника, утрата жилья
  • Корпоративная мобильная связь
  • Скидка на проводной интернет, телевидение
  • Новогодние детские подарки
  • Скидки для сотрудников на продукты и услуги от компаний партнеров