🔥 1000+ вакансий с удаленкой на Хабр Карьере → посмотреть и откликнуться

Инженер данных/Data engineer

Зарплата

от 120 000 до 150 000 ₽

Местоположение и тип занятости

МоскваПолный рабочий день

Компания

Горно-металлургичекая вертикально-интегрированная компания

Описание вакансии

Условия работы

«Северсталь» – лидер металлургии будущего. Нас 50 000 человек, мы добываем железную руду и коксующийся уголь, создаем сложные технологичные решения для клиентов в 70 странах мира.

Мы ищем дата инженера с желанием развиваться в работе с Hadoop для реализации поставки и предобработки данных в проектах по созданию моделей машинного обучения на производстве. Уже сейчас наши продукты управляют агрегатами размером с футбольное поле. Нам нужен человек, который на начальных этапах проектов готов разобраться в данных, описать их, наладить поток поступления данных, создать витрины в Hive с необходимыми агрегатами, а также подготовить пайплайны предобработки данных для дальнейшего переобучения и валидации моделей.

Возможности:

  • Работа с проектами Data Science: сбор и предобработка больших массивов данных, создание пайплайнов, которые будут работать быстро и без ошибок;
  • Работа с экосистемой Hadoop (Spark, HDFS, Hive, etc.);
  • Работа в небольшой команде, где ваши идеи будут быстро находить реализацию;
  • Взаимодействие с Data Scientists для определения необходимых для построения модели данных и их производных.

Наш стек:

  • NiFi, MiNiFi;
  • Apache Kafka, Avro Schema Registry;
  • Apache Airflow;
  • Spark, Hadoop, Hive;
  • PostgreSQL;
  • Redis.

Наши ожидания:

  • Уверенное знание SQL;
  • Знание Python (работаем с Pandas, Requests, Airflow, PySpark);
  • Знакомство с Hadoop, Hive, Spark;
  • Умение читать документацию на английском языке;
  • Опытный пользователь Linux.

Будет плюсом:

  • Знакомство с Oracle, PostgreSQL, MS SQL;
  • Планы SQL-запросов;
  • NoSQL базы данных;
  • Опыт работы с NiFi;
  • Опыт проектирования ETL-пайплайнов;
  • Опыт сопровождения ML-проектов в Production.

Что мы предлагаем:

  • Возможность профессионального роста;
  • Трудоустройство по ТК РФ;
  • Годовой бонус;
  • График работы 5/2 (40 часов в неделю), гибкое начало дня; частичная работа из офиса - 2/3 в неделю;
  • Корпоративную мобильную связь, ДМС;
  • Классный новый офис с уютными зонами отдыха;
  • Спортзал и велопарковку;
  • Оплату дистанционных курсов и участия в профессиональных конференциях;
  • Офис на м. Войковская, МЦК Балтийская и МЦД Красный Балтиец.