Data Engineer (удаленно)

Условия работы

Задачи:

• Анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами)
• Поиск и исследование источников данных для последующей интеграции
• Оценка пригодности, качества исходных данных
• Разработка ETL процессов на Spark
• Оркестрация ETL процессов в Airflow
• Проектирование баз данных
• Создание конвейеров данных NiFi

В своей работе DE используют следующий стек технологий:

• Экосистема Hadoop – HDFS, YARN, Hive, HBase
• ETL-процессы – Spark (Scala)
• Потоковая обработка – NiFi, Flink
• Брокер сообщений – Kafka
• Оркестрация ETL процессов – Airflow
• СУБД – PostgreSQL, Greenplum, Aerospike, Oracle, SQL Server
• CI/CD – GitLab

Бонусы

• ДМС
• Страхование жизни, страхование от несчастных случаев и страхование от критических заболеваний
• Страхование выезжающих за рубеж
• Материальная помощь по рождению ребенка, смерти близкого родственника, утрата жилья
• Корпоративная мобильная связь
• Скидка на проводной интернет, телевидение
• Новогодние детские подарки
• Скидки для сотрудников на продукты и услуги от компаний партнеров