Старший разработчик DWH / data engineer (hadoop)
Требования
Местоположение и тип занятости
Компания
Описание вакансии
О компании и команде
Группа компаний НЛМК - крупнейший в России и один из самых эффективных в мире производителей стальной продукции расширяет команду и ищет эксперта на позицию Старший разработчик DWH / data engineer (hadoop) на задачи поддержки и развития информационных систем группы компании НЛМК.
ВАС ЖДЕТ:
Проектирование и развитие логических и физических моделей данных источников, хранилищ и витрин данных, включая принципы построения слоев STG/ODS/DDS/DM, а также перемещения данных между ними;
- Разработка физических моделей данных с учетом особенностей платформ;
Настройка и поддержка интеграции данных между различными системами;
- Извлечение и анализ данных из различных структур: источников данных, хранилищ, витрин, аналитических платформ;
- Анализ требований к качеству данных, разработка методики и метрики управления качеством данных - согласованности, своевременности, актуальности, целостности, точности, полноты, достоверности;
- Поиск факторов и корневых причин: подготовка, очистка, обогащение, стратификация, визуализация, анализ данных.
Ожидания от кандидата
ДЛЯ НАС ВАЖНО:
- Обеспечение поддержки и развития хранилищ данных по направлению BI;
- Опыт построения DWH, DL;
Разработка процедур загрузки данных из различных источников, автоматизация и контроль ETL\ELT процессов:
- Apache Airflow, Apache NiFi, Oozie;
Базовые знания языков программирования:
- Python (основные пакеты Numpy, Pandas, SCiPy и др), SQL;
Знание фреймворков потоковой обработки данных:
- Kafka Streaming and Connect, Flink, Spark Streaming;
Опыт работы с реляционными системами управления базами данных (SQL):
- MSSQL, Oracle, PostgreSQL, MySQL;
Опыт работы с системами управления базами данных (NoSQL):
- Clickhouse, Cassandra, ScyllaDB, MongoDB, Redis, Владение git.
Условия работы
МЫ ПРЕДЛАГАЕМ:
- Удалённый формат работы;
- Конкурентный уровень заработной платы и ежегодная индексация;
- Корпоративные льготы: ДМС, льготное страхование родственников, банковские продукты сотрудникам и скидки партнеров;
- Обучение и развитие: английский язык в лучших языковых школах, большое количество обучающих курсов от внутреннего корпоративного университета, посещение митапов и конференций;
- Возможность принять участие в интересных и сложных проектах с лучшими специалистами индустрии.