Data Engineer

Мы создаем продвинутое аналитическое хранилище – по принципам Data Mesh. Все данные описываем в каталоге, чтобы их легко находить и переиспользовать.

Наши преимущества

1. В компании существует сообщество DE. Сейчас там около 300 чел. с уровнем навыков от Junior до Senior. Инженеры помогают друг другу развиваться, делятся кодом, лайфхаками.
2. Периодически проводятся митапы по инфраструктурным и софтовым темам.
3. Оплата любых активностей по развитию и обучению – конференции, подписки, книги, курсы – все что помогает расти профессионально.
4. Удаленный формат работы на территории РФ

Мы понимаем, что каждые DE индивидуален. Поэтому даем описание как бы выглядел идеальный кандидат. Все недостающие навыки можно подтянуть у нас.

• Знает SQL на высоком уровне (в т. ч. DDL, табличные выражения, оконные функции)
• Работал с Hive, PostgreSQL
• Умеет разрабатывать ETL процессы Spark на Scala или PySpark на Python (потоковая обработка как преимущество)
• Пользовался AirFlow или другими оркестраторами – Oozie, Luigi, ну или cron
• Имеет опыт потоковой разработки конвейеров данных в NiFi или Flink
• Интересуется Flink, пробовал применять его в проектах
• Умеет проектировать базы данных (знает Data Vault 2.0 например)
• Понимает принципы работы реляционных СУБД и HDFS
• Имеет представление о колоночных и NoSQL СУБД

Типовые задачи DE

• Анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами)
• Поиск и исследование источников данных для последующей интеграции
• Оценка пригодности, качества исходных данных
• Разработка ETL процессов на Spark
• Оркестрация ETL процессов в Airflow
• Проектирование баз данных
• Создание конвейеров данных NiFi

• Официальное трудоустройство со всеми привилегиями, согласно ТК РФ
• ДМС+страхование жизни
• 30 дней отпуска (предусмотрено 2 доп.дня)
• Сокращенная пятница
• Годовое премирование
• Корпоративная Связь
• Корпоративный психолог
• Коучи и консультанты (Прозрачная система прохождения внутренних конкурсов на вакансии)
  
• Билайн университет и корпоративная библиотека