Senior MLops engineer (DSML Платформа)
Требования
Местоположение и тип занятости
Компания
Описание вакансии
О компании и команде
Группа НЛМК — крупнейший в России и один из самых эффективных в мире производителей стальной продукции. Производственные активы в России, Европе, Азии и США.
Мы создаем совершенную сталь для ключевых отраслей: от строительства до ветроэнергетики. Разрабатываем новые технологии и внедряем передовые цифровые решения.
MOps engineer будет заниматься разработкой и эксплуатацией DSML (Data Sciene and Machine Learning) платформы. Наша DSML платформа не просто позволяет создавать и эксплуатировать модели, она позволяет превращать инсайты и экспертизу Data Scientist-а в работающий код, легко передавать ее между Data Scientist-ами и сохранять в компании. Платформа предназначена для использования on-premise и не имеет здесь доступных аналогов. При разработке платформы мы вдохновлялись лучшими образчиками в cloud, и в первую очередь это DataBricks. Мы начали движение здесь в Open Source, и планируем создать версию решения, которое не только максимально упростит жизнь Data Scinetist-а и избавит его от инженерной рутины, но и позволит ему самостоятельно развернуть и начать использовать платформу.
Ожидания от кандидата
Вас Ждет:
- Развертывание, разработка и эксплуатация сервисов и инструментов DSML (Data Science & ML) платформы:
- K8s кластеры для интерактивной разработки на базе Jupyter Lab (кластер общего назначения и Computer Vision)
- K8s кластеры для распределенных вычислений на базе Spark
- K8s кластеры для запуска ML pipelines по расписания
- Python библиотек и других инструментов для ML-пайплайнов, включая инструменты для DAG (типа Dagster, Argo)
- Распределенное хранилище для данных: HDFS, S3 + Kafka
- Computer Vision инфраструктура, Сервера с A100, DeepStream, разнообразное оборудование для inference на производстве
- Инфраструктура Model Serving, CI/CD пайплайны для моделей
- Развитие сloud-native архитектуры на базе private и hybrid cloud
- Обеспечение воспроизводимости и возможности обмениваться (легкой передваемости) кода, данных и результатов экспериментов
- Интеграция платформы в корпоративную инфраструктуру (GitLab, Jira, Confluence, Artifactory, Active Directory), с учетом практик безопасности.
- Настройка производительности инфраструктуры, в том числе Apache Spark. Профилирование кода и элементов инфраструктуры
- Поддержка пользователей DSML платформы
Мы ждем от Вас:
- Опыт администрирования linux, работающих сервисов на базе Open Source
- Опыт настройки, отладки и мониторинга систем, начиная с уровня hardware, продолжая уровнем сети, виртуализации, оркестрации и заканчивая конечными сервисами
- Опыт совместной разработки software, опыт работы в команде по SCRUM Kanban методологиям
- Знание языков python, bash, плюсом будет опыт С/С++ и других языков,
- Готовность, разрабатывая код, отвечать за его эксплуатацию в продуктовой среде
- Готовность, как инженер и разработчик, отстаивать интересы Data Scientist-ов
- Желание (можно даже страстное) работать в области Data Science
- Понимать принципы контейнеризации (K8s или Docker Swarm), знание docker
- Быть сторонником принципов DevOps/SRE, Cloud Native архитектуры
- Уметь сочетать гибкие принципы Agile, с дисциплиной для обеспечения SLA
- Уметь следовать и культивировать в компании стандарты вокруг разработки, готовность документировать результаты своего труда
- Понимание процессов CI/CD. Плюсом будет опыт настройки CI на базе Gitlab;
- Опыт настройки сетевых сервисов, nginx или других балансировщиков
Плюсом будет:
- Опыт работы с Cloud платформами типа Amazon, Azure, Google, Yandex
- Опыт развертывания и поддержки приложений в IAAS среде (Kubernetes, Openshift)
- Опыт работы со Spark или Hadoop
- Опыт эксплуатации сервисных шин (MQ, Kafka)
- Опыт работы с данными
Условия работы
- Полностью удаленный график работы;
- Конкурентный уровень заработной платы и ежегодная индексация.
- Корпоративные льготы: ДМС, льготное страхование родственников, банковские продукты сотрудникам и скидки партнеров.
Бонусы
- Обучение и развитие: английский язык в лучших языковых школах, большое количество обучающих курсов от внутреннего корпоративного университета, посещение митапов и конференций;
- Возможность принять участие в интересных и сложных проектах с лучшими специалистами индустрии.