Инженер данных/Data engineer
Зарплата
Требования
Местоположение и тип занятости
Компания
Описание вакансии
Условия работы
«Северсталь» – лидер металлургии будущего. Нас 50 000 человек, мы добываем железную руду и коксующийся уголь, создаем сложные технологичные решения для клиентов в 70 странах мира.
Мы ищем дата инженера с желанием развиваться в работе с Hadoop для реализации поставки и предобработки данных в проектах по созданию моделей машинного обучения на производстве. Уже сейчас наши продукты управляют агрегатами размером с футбольное поле. Нам нужен человек, который на начальных этапах проектов готов разобраться в данных, описать их, наладить поток поступления данных, создать витрины в Hive с необходимыми агрегатами, а также подготовить пайплайны предобработки данных для дальнейшего переобучения и валидации моделей.
Возможности:
- Работа с проектами Data Science: сбор и предобработка больших массивов данных, создание пайплайнов, которые будут работать быстро и без ошибок;
- Работа с экосистемой Hadoop (Spark, HDFS, Hive, etc.);
- Работа в небольшой команде, где ваши идеи будут быстро находить реализацию;
- Взаимодействие с Data Scientists для определения необходимых для построения модели данных и их производных.
Наш стек:
- NiFi, MiNiFi;
- Apache Kafka, Avro Schema Registry;
- Apache Airflow;
- Spark, Hadoop, Hive;
- PostgreSQL;
- Redis.
Наши ожидания:
- Уверенное знание SQL;
- Знание Python (работаем с Pandas, Requests, Airflow, PySpark);
- Знакомство с Hadoop, Hive, Spark;
- Умение читать документацию на английском языке;
- Опытный пользователь Linux.
Будет плюсом:
- Знакомство с Oracle, PostgreSQL, MS SQL;
- Планы SQL-запросов;
- NoSQL базы данных;
- Опыт работы с NiFi;
- Опыт проектирования ETL-пайплайнов;
- Опыт сопровождения ML-проектов в Production.
Что мы предлагаем:
- Возможность профессионального роста;
- Трудоустройство по ТК РФ;
- Годовой бонус;
- График работы 5/2 (40 часов в неделю), гибкое начало дня; частичная работа из офиса - 2/3 в неделю;
- Корпоративную мобильную связь, ДМС;
- Классный новый офис с уютными зонами отдыха;
- Спортзал и велопарковку;
- Оплату дистанционных курсов и участия в профессиональных конференциях;
- Офис на м. Войковская, МЦК Балтийская и МЦД Красный Балтиец.