Старший разработчик КХД / data engineer (hadoop)

НЛМК - международная сталелитейная компания с активами в России, США и пяти странах Европы.
Производство вертикально интегрировано, это позволяет контролировать всю цепочку создания металлопродукции от добычи сырья до финальной обработки и поставки стали потребителям.

Сейчас наша команда расширяется и мы ищем старшего разработчика КХД

Проектирование и развитие логических и физических моделей данных источников, хранилищ и витрин данных, включая принципы построения слоев STG/ODS/DDS/DM, а также перемещения данных между ними.

• Разработка физических моделей данных с учетом особенностей платформ.
• Настройка и поддержка интеграции данных между различными системами.
• Извлечение и анализ данных из различных структур: источников данных, хранилищ, витрин, аналитических платформ.
• Анализ требований к качеству данных, разработка методики и метрики управления качеством данных - согласованности, своевременности, актуальности, целостности, точности, полноты, достоверности.
• Поиск факторов и корневых причин: подготовка, очистка, обогащение, стратификация, визуализация, анализ данных.

ДОПОЛНИТЕЛЬНЫЕ ТРЕБОВАНИЯ ДОЛЖНОСТИ:

• Требуемые знания и навыки (в т.ч. иностранные языки и ИТ-программы)
• Корпоративные хранилища данных: Опыт построения DWH, DL Разработка процедур загрузки данных из различных источников, автоматизация и контроль ETL\ELT процессов: 
  Apache Airflow,
  Apache NiFi Oozie Знание языков программирования: Python (основные пакеты Numpy, Pandas, SCiPy и др) SQL Java Scala C++
• Знание фреймворков потоковой обработки данных: Kafka Streaming and Connect Flink Spark Streaming Навыки разработки приложений с использованием инструментария экосистемы Hadoop: HDFS, YARN, Hbase, Hive, Spark, Kafka, Sentry, Airflow, Ranger, Impala и т.п.
• Опыт работы с реляционными системами управления базами данных (SQL): MSSQL Oracle PostgreSQL MySQL Опыт работы с системами управления базами данных (NoSQL): Clickhouse Cassandra ScyllaDB MongoDB Redis

• Удалённый формат работы.
• Гибридный график по желанию комфортабельный офис  с видом на Якиманскую набережную напротив памятника Петра
• Конкурентный уровень заработной платы и ежегодная индексация.

• Корпоративные льготы: ДМС, льготное страхование родственников, банковские продукты сотрудникам и скидки партнеров.
• Обучение и развитие: английский язык в лучших языковых школах, большое количество обучающих курсов от внутреннего корпоративного университета, посещение митапов и конференций.
• Возможность принять участие в интересных и сложных проектах с лучшими специалистами индустрии.