Инженер данных/Data engineer

«Северсталь» – лидер металлургии будущего. Нас 50 000 человек, мы добываем железную руду и коксующийся уголь, создаем сложные технологичные решения для клиентов в 70 странах мира.

Мы ищем дата инженера с желанием развиваться в работе с Hadoop для реализации поставки и предобработки данных в проектах по созданию моделей машинного обучения на производстве. Уже сейчас наши продукты управляют агрегатами размером с футбольное поле. Нам нужен человек, который на начальных этапах проектов готов разобраться в данных, описать их, наладить поток поступления данных, создать витрины в Hive с необходимыми агрегатами, а также подготовить пайплайны предобработки данных для дальнейшего переобучения и валидации моделей.

Возможности:

• Работа с проектами Data Science: сбор и предобработка больших массивов данных, создание пайплайнов, которые будут работать быстро и без ошибок;
• Работа с экосистемой Hadoop (Spark, HDFS, Hive, etc.);
• Работа в небольшой команде, где ваши идеи будут быстро находить реализацию;
• Взаимодействие с Data Scientists для определения необходимых для построения модели данных и их производных.

Наш стек:

• NiFi, MiNiFi;
• Apache Kafka, Avro Schema Registry;
• Apache Airflow;
• Spark, Hadoop, Hive;
• PostgreSQL;
• Redis.

Наши ожидания:

• Уверенное знание SQL;
• Знание Python (работаем с Pandas, Requests, Airflow, PySpark);
• Знакомство с Hadoop, Hive, Spark;
• Умение читать документацию на английском языке;
• Опытный пользователь Linux.

Будет плюсом:

• Знакомство с Oracle, PostgreSQL, MS SQL;
• Планы SQL-запросов;
• NoSQL базы данных;
• Опыт работы с NiFi;
• Опыт проектирования ETL-пайплайнов;
• Опыт сопровождения ML-проектов в Production.

Что мы предлагаем:

• Возможность профессионального роста;
• Трудоустройство по ТК РФ;
• Годовой бонус;
• График работы 5/2 (40 часов в неделю), гибкое начало дня; частичная работа из офиса - 2/3 в неделю;
• Корпоративную мобильную связь, ДМС;
• Классный новый офис с уютными зонами отдыха;
• Спортзал и велопарковку;
• Оплату дистанционных курсов и участия в профессиональных конференциях;
• Офис на м. Войковская, МЦК Балтийская и МЦД Красный Балтиец.