MLOps в Яндекс Еду

Цели нашей команды:

• оптимизировать и улучшать аналитическую и ML-инфраструктуру, общаясь с её внутренними пользователями;
• выстраивать конвейеры автоматизации ML-процессов и обработки данных;
• настраивать работу сервисов и регулярных процессов в рамках экосистемы Яндекса;
• создавать новые и улучшать старые инструменты для ML-аналитики.

Какие задачи вас ждут:

Построить модель здоровья ML-сервисов
Модель здоровья — система мониторингов, следящая за тем, чтобы сервис работал как ожидается. В ожидания входят и стандартные технические показатели для бэкенд-сервисов (свободное место на диске, доля «пятисоток» в ответах сервиса и другие), и специфичные для ML показатели (свежесть поставки данных, корректность расчётов внутренних витрин данных, полнота данных в ответах сервиса).

Запустить Feature Store
ML-модели прогнозирования и рекомендаций в Еде базируются на статистических данных и их агрегатах. Каждое направление разрабатывает для ML-моделей сигналы и факторы на данных, соответствующих её доменной области. Feature Store позволит эффективно обмениваться факторами между командами без дублирования расчётов и предоставит платформу мониторинга качества сигналов. В рамках задачи предстоит дизайн архитектурного решения, реализация и интеграция в существующие пайплайны.

Развить инфраструктуру для реактивной поставки сигналов
Рекомендательные системы полагаются на историю пользовательских действий внутри приложения. Возможность доставлять события с задержкой до нескольких секунд позволит учитывать предпочтения пользователя в рамках сессии и повысит качество рекомендаций. Проект подразумевает разработку стриминга событий на базе Flink, хранение и раздачу профилей пользователей из key-value хранилищ Яндекса.

• На базовом уровне понимаете ML и концепции MLOps
• Разрабатывали бэкенд-сервисы на Python, C++, Java или Go
• Знаете или готовы освоить C++
• Обрабатывали большие объёмы данных (Hadoop, Spark, Hive)

Будет плюсом, если вы

• Работали с ML-сервисами в продакшене
• Писали стриминговые приложения (Spark Structured Streaming, Flink или Kafka Streams)
• Работали в инфраструктурной команде

• Работу в сильной команде, с которой можно расти
• Сложные задачи для сервиса с миллионами пользователей
• Возможность влиять на процесс и результат
• Расширенную программу ДМС со стоматологией, обследованиями, вызовом врача на дом, оплату 80% стоимости ДМС для супругов и детей
• Курсы, тренинги, возможность участвовать в конференциях