Data Engineer
Требования
Местоположение и тип занятости
Компания
Российский телеком-оператор с 50 миллионами клиентов и 30 тысячами сотрудников
Описание вакансии
О компании и команде
Мы создаем продвинутое аналитическое хранилище – по принципам Data Mesh. Все данные описываем в каталоге, чтобы их легко находить и переиспользовать.
Наши преимущества
- В компании существует сообщество DE. Сейчас там около 300 чел. с уровнем навыков от Junior до Senior. Инженеры помогают друг другу развиваться, делятся кодом, лайфхаками.
- Периодически проводятся митапы по инфраструктурным и софтовым темам.
- Оплата любых активностей по развитию и обучению – конференции, подписки, книги, курсы – все что помогает расти профессионально.
- Удаленный формат работы на территории РФ
Ожидания от кандидата
Мы понимаем, что каждые DE индивидуален. Поэтому даем описание как бы выглядел идеальный кандидат. Все недостающие навыки можно подтянуть у нас.
- Знает SQL на высоком уровне (в т. ч. DDL, табличные выражения, оконные функции)
- Работал с Hive, PostgreSQL
- Умеет разрабатывать ETL процессы Spark на Scala или PySpark на Python (потоковая обработка как преимущество)
- Пользовался AirFlow или другими оркестраторами – Oozie, Luigi, ну или cron
- Имеет опыт потоковой разработки конвейеров данных в NiFi или Flink
- Интересуется Flink, пробовал применять его в проектах
- Умеет проектировать базы данных (знает Data Vault 2.0 например)
- Понимает принципы работы реляционных СУБД и HDFS
- Имеет представление о колоночных и NoSQL СУБД
Типовые задачи DE
- Анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами)
- Поиск и исследование источников данных для последующей интеграции
- Оценка пригодности, качества исходных данных
- Разработка ETL процессов на Spark
- Оркестрация ETL процессов в Airflow
- Проектирование баз данных
- Создание конвейеров данных NiFi
Условия работы
- Официальное трудоустройство со всеми привилегиями, согласно ТК РФ
- ДМС+страхование жизни
- 30 дней отпуска (предусмотрено 2 доп.дня)
- Сокращенная пятница
- Годовое премирование
- Корпоративная Связь
- Корпоративный психолог
- Коучи и консультанты (Прозрачная система прохождения внутренних конкурсов на вакансии)
- Билайн университет и корпоративная библиотека