Senior MLops engineer (DSML Платформа)

Местоположение и тип занятости

Полный рабочий деньМожно удаленно

Компания

Создаем передовые IT-решения для металлургической отрасли

Описание вакансии

О компании и команде

Группа НЛМК — крупнейший в России и один из самых эффективных в мире производителей стальной продукции. Производственные активы в России, Европе, Азии и США.

Мы создаем совершенную сталь для ключевых отраслей: от строительства до ветроэнергетики. Разрабатываем новые технологии и внедряем передовые цифровые решения.

MOps engineer будет заниматься разработкой и эксплуатацией DSML (Data Sciene and Machine Learning) платформы. Наша DSML платформа не просто позволяет создавать и эксплуатировать модели, она позволяет превращать инсайты и экспертизу Data Scientist-а в работающий код, легко передавать ее между Data Scientist-ами и сохранять в компании. Платформа предназначена для использования on-premise и не имеет здесь доступных аналогов. При разработке платформы мы вдохновлялись лучшими образчиками в cloud, и в первую очередь это DataBricks. Мы начали движение здесь в Open Source, и планируем создать версию решения, которое не только максимально упростит жизнь Data Scinetist-а и избавит его от инженерной рутины, но и позволит ему самостоятельно развернуть и начать использовать платформу.

Ожидания от кандидата

Вас Ждет:

  • Развертывание, разработка и эксплуатация сервисов и инструментов DSML (Data Science & ML) платформы:
    • K8s кластеры для интерактивной разработки на базе Jupyter Lab (кластер общего назначения и Computer Vision)
    • K8s кластеры для распределенных вычислений на базе Spark
    • K8s кластеры для запуска ML pipelines по расписания
    • Python библиотек и других инструментов для ML-пайплайнов, включая инструменты для DAG (типа Dagster, Argo)
    • Распределенное хранилище для данных: HDFS, S3 + Kafka
    • Computer Vision инфраструктура, Сервера с A100, DeepStream, разнообразное оборудование для inference на производстве
  • Инфраструктура Model Serving, CI/CD пайплайны для моделей
  • Развитие сloud-native архитектуры на базе private и hybrid cloud
  • Обеспечение воспроизводимости и возможности обмениваться (легкой передваемости) кода, данных и результатов экспериментов
  • Интеграция платформы в корпоративную инфраструктуру (GitLab, Jira, Confluence, Artifactory, Active Directory), с учетом практик безопасности.
  • Настройка производительности инфраструктуры, в том числе Apache Spark. Профилирование кода и элементов инфраструктуры
  • Поддержка пользователей DSML платформы

Мы ждем от Вас:

  • Опыт администрирования linux, работающих сервисов на базе Open Source
  • Опыт настройки, отладки и мониторинга систем, начиная с уровня hardware, продолжая уровнем сети, виртуализации, оркестрации и заканчивая конечными сервисами
  • Опыт совместной разработки software, опыт работы в команде по SCRUM Kanban методологиям
  • Знание языков python, bash, плюсом будет опыт С/С++ и других языков,
  • Готовность, разрабатывая код, отвечать за его эксплуатацию в продуктовой среде
  • Готовность, как инженер и разработчик, отстаивать интересы Data Scientist-ов
  • Желание (можно даже страстное) работать в области Data Science
  • Понимать принципы контейнеризации (K8s или Docker Swarm), знание docker
  • Быть сторонником принципов DevOps/SRE, Cloud Native архитектуры
  • Уметь сочетать гибкие принципы Agile, с дисциплиной для обеспечения SLA
  • Уметь следовать и культивировать в компании стандарты вокруг разработки, готовность документировать результаты своего труда
  • Понимание процессов CI/CD. Плюсом будет опыт настройки CI на базе Gitlab;
  • Опыт настройки сетевых сервисов, nginx или других балансировщиков

Плюсом будет:

  • Опыт работы с Cloud платформами типа Amazon, Azure, Google, Yandex
  • Опыт развертывания и поддержки приложений в IAAS среде (Kubernetes, Openshift)
  • Опыт работы со Spark или Hadoop
  • Опыт эксплуатации сервисных шин (MQ, Kafka)
  • Опыт работы с данными

Условия работы

  • Полностью удаленный график работы;
  • Конкурентный уровень заработной платы и ежегодная индексация.
  • Корпоративные льготы: ДМС, льготное страхование родственников, банковские продукты сотрудникам и скидки партнеров.

Бонусы

  • Обучение и развитие: английский язык в лучших языковых школах, большое количество обучающих курсов от внутреннего корпоративного университета, посещение митапов и конференций;
  • Возможность принять участие в интересных и сложных проектах с лучшими специалистами индустрии.