Business Data Engineer

В настоящее время мы создаём новую платформу данных, которая включает в себя несколько блоков: получение данных из различных источников, загрузка данных в единое ХД, витрины, качество данных, доступ к данным и т.д.

Несмотря на то, что платформа только начинает свою работу, через неё уже проходят около 1000 объектов в ХД, десятки миллионов ежедневно обновляемых записей, больше 20 источников данных.

В ближайшее время объём обрабатываемых данных будет расти, поэтому нам нужны дата-инженеры, которые умеют качественно направить поток данных в нужное русло к потребителям.

Чем придется заниматься:

• Поиск источников данных и исследование данных на корректность перед загрузкой в ХД
• Настройка ETL/ELT процессов для выгрузки данных в ХД
• Подготовка витрин данных для аналитиков
• Обучение аналитиков работе с витринами данных
• Доступ к данным ХД/витрин (column_level, row_level)
• Оркестрация ETL/ELT
• Визуализация data lineage
• Качество данных (Data Quality).

Ожидания от опыта:

• Знание методологий моделирования ХД (3NF, DataVault, AnchorModeling и т.д.)
• Понимание, что такое "платформа данных", какие инструменты взять готовые, какие создаём сами
• Отличное владение SQL (основной объём данных в MSSQL)
• Богатый опыт ETL/ELT
• Python
• Умение решать сложные и нестандартные задачи
• Будет плюсом опыт работы с MPP субд (greenplum, clickhouse).

• Участие в проекте с высокими нагрузками и задачами, где предстоит подумать
• Поддержку инициатив и профессиональную прокачку
• Удалённую работу по ТК в аккредитованную IT-компанию с гибким утром
• Уровень ЗП обсуждаем по результатам интервью
• Ежегодные оффлайн встречи команд
• Автозапчасти со скидкой до 30%
• Оплата обучающих курсов и сертификации.