Data Engineer

АЛРОСА ИТ – основана в 2019 году, как дочерняя компания АК «АЛРОСА» ПАО для поддержания его ИТ функций. Для этого мы фокусируемся на задачах бизнеса, создаем продукты с помощью ИТ.

В связи с расширением команды Ищем опытного Data Engineer!

НАШИ ЗАДАЧИ:

• Разработка пайплайнов обработки данных в batch и в потоковом режиме (результатами будут пользоваться DS разработчики). Оптимизация существующих пайплайнов;
• Разработка витрин данных;
• Помощь DS в написании ETL пайплайнов к моделям;
• Расширение стека технологий внутри компании (внедрение SOTA подходов);
• Внедрение DQ метрик;
• Прокидывание данных из внутренних сетей в выделенный контур на ЯОблаке.

СТЕК:

Airflow, JupyterHub, MLflow, FastAPI, Streamlit, MSSQL, MySQL, PostgreSQL, Visiology, Kubernetes, Яндекс Облакоб, Git.

НАМ ВАЖНО:

• Опыт работы с ETL инструментами;
• Опыт работы с облачными сервисами;
• Опыт работы с Airflow, PostgreSQL (и аналоги), ClickHouse, GreenPlum;
• Опыт работы с MongoDB;
• Опыт взаимодействия с API сервисами;
• Bash, Linux;
• Знание SQL и Python.

БУДЕТ ПЛЮСОМ:

• Опыт работы с Hadoop (HDFS, Yarn, Hive, Spark);
• Опыт работы с Docker;
• Знание библиотек машинного обучения;
• Опыт работы с внедрением ML моделей в прод;
• Опыт работы с kafka, flink, Casandra;
• Знание Scala.

• Трудоустройство с первого дня, полное соблюдение ТК РФ;
• Обучение за счет компании;
• Возможность работать удаленно;
• ДМС;

1. Созвон с HR;
2. Техническое собеседование;
3. Делаем устный оффер и отправляем на проверку СБ;
4. Делаем официальный оффер;
5. Трудоустройство.