Data Engineer (удаленно)
Требования
Местоположение и тип занятости
Компания
Российский телеком-оператор с 50 миллионами клиентов и 30 тысячами сотрудников
Описание вакансии
Условия работы
Задачи:
- Анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами)
- Поиск и исследование источников данных для последующей интеграции
- Оценка пригодности, качества исходных данных
- Разработка ETL процессов на Spark
- Оркестрация ETL процессов в Airflow
- Проектирование баз данных
- Создание конвейеров данных NiFi
В своей работе DE используют следующий стек технологий:
- Экосистема Hadoop – HDFS, YARN, Hive, HBase
- ETL-процессы – Spark (Scala)
- Потоковая обработка – NiFi, Flink
- Брокер сообщений – Kafka
- Оркестрация ETL процессов – Airflow
- СУБД – PostgreSQL, Greenplum, Aerospike, Oracle, SQL Server
- CI/CD – GitLab
Бонусы
- ДМС
- Страхование жизни, страхование от несчастных случаев и страхование от критических заболеваний
- Страхование выезжающих за рубеж
- Материальная помощь по рождению ребенка, смерти близкого родственника, утрата жилья
- Корпоративная мобильная связь
- Скидка на проводной интернет, телевидение
- Новогодние детские подарки
- Скидки для сотрудников на продукты и услуги от компаний партнеров