DWH-разработчик (PostgreSQL + Python)

Группа НМЛК - это крупнейший в России производитель стали для ключевых отраслей: от строительства до ветроэнергетики. У компании есть площадки в Европе, Азии и США и ИТ-специалистов в штате около тысячи.

Меня зовут Антон, и я начальник отдела корпоративных решений, сейчас мы ищем middle DWH-разработчика (PostgreSQL + Python).

Нам надо делать много локальных хранилищ на Постгресе. Основное корпоративное хранилище на Хадупе, но его трогать не надо. Например, одна из возможных наших задач - построить хранилище под HR-события. Сейчас там есть уже хранилище наподобие реляционной базы, и оно не очень-то удобно для расчёта сквозных отчётов. Если мы попробуем выгрузить что-то вроде «сколько человек имело опыт с энергетическими проектами в компании», ответ придёт через 2 дня. А надо - через 2 минуты. 

Или ещё пример запроса - монитор статуса заказов. Это похоже на трекер посылок, только для вагонов со сталью, чтобы клиенты НЛМК смогли онлайн отследить, где их металл. Есть ещё хранилище для сбора данных и аналитики по всей производственной цепочке, где мы эффективны, а где не очень, и в целом сколько нам нужно времени, чтобы реализовать тот или иной заказ.

Вам нужно будет проектировать и строить, а потом поддерживать такие хранилища.

Для нас важно:

Опыт 3 - 6 лет разработки или доработки DWH (структуры, модели данные, как делаются интеграции). SQL нужен сильнее, чем Питон.

Как строится работа

Стек - PostgreSQL, Airflow (+NiFI, Oozie), Python (Numpy, Pandas, SCiPy). Плюсом будет знание Kafka Streaming and Connect, Flink, Spark Streaming; опыт с реляционными MSSQL, Oracle, MySQL; опыт с NoSQL типа ClickHouse, Cassandra, ScyllaDB, MongoDB, Redis; Git.

Речь про логическую и физическую архитектуру, модели данных источников, слои STG/ODS/DDS/DM, настройки интеграций, анализ требований к качеству данных, разработку методики и метрики управления качеством данных, поиск факторов и корневых причин: подготовка, очистка, обогащение, стратификация, визуализация, анализ данных.

Испытательный срок - мы на берегу договариваемся с кандидатом о перечне задач. Это то, что нужно успеть сделать за 3 месяца. Периодически вместе обсуждаем прогресс.

Годовая цель - техническое лидерство. Это значит, что вы в пределах своего кусочка системы или даже целой системы точно знаете, как она устроена. И если бизнес приходит с какой-нибудь доработкой, надо уверенно сказать: «вы чего удумали, это положит всю систему, так не работает, но можно сделать так-то и так-то».

Встреч довольно много, потому что полная удалёнка. Команда в разных городах России и в разных часовых поясах. Есть синхроны плюс работа с подрядчиком, работа с бизнес-заказчиком. Две встречи в день примерно. На код остаётся минимум полдня, но на разных стадиях проекта, возможно, эта пропорция меняется.

Зарплата в рынке + ежегодная переиндексация. 

Удалёнка или гибрид по желанию. Возможны выезды за границу, но постоянно за границей работать не получится.

ДМС со стоматологией, скидки на ДМС для родственников, страховки на время путешествий, внутренний университет, конференции и внешнее обучение. 

Корпоративные льготы: корпоративная сотовая связь, летние путёвки для детей, новогодние детские подарки, программы лояльности от партнёров, корпоративная дотация на питание, материальная поддержка сотрудников в различных жизненных ситуациях.