За 5 месяцев освоите лучшие практики для разработки, внедрения в продакшн и мониторинга ML‑решений

Для кого этот курс? MLOps — это не человек, а набор практик, которым должны обладать различные специалисты. Поэтому знание MLOps для каждой роли открывает свои возможности в команде. Для Data Scientist-ов: если вы уже умеете создавать модели, то научитесь деплоить их в прод.Для ML Engineer-ов: сможете унифицировать управление несколькими моделями.Для Data Engineer-ов: вам откроется остальная часть data-driven конвейеров: валидация, обучение, вывод ML моделей в прод и мониторинг.Для Data Analytic-ов: сможете выйти за рамки графиков и дашбордов и запустить свои модели в онлайне.Для Softwear Engineer-ов: будете понимать, что нужно делать, если на вашем продукте планируют внедрять ML. Необходимые знания построение веб-сервисов на pythonопыт разработки на pythonопыт использования python для решения задач MLLinuxGit Что вам даст этот курс? Данный курс даст вам понимание того, как устроен процесс внедрения ML-решения от идеи до вывода его в прод. Преподаватели поделятся лучшими практиками и инструментами MLOps, которые устоялись в современной индустрии. Примеры практических задач, рассматриваемых на курсе: Как правильно организовать хранение исходниковГде и как хранить данныеКак сделать CI/CDКак регулярно обновлять данные и переобучать моделиКак управлять инфраструктурой в облакахКак упаковывать ML модели в микросервисыКак разворачивать k8sКак настраивать мониторинг и алертинг Инструменты, которые используются на курсе: Яндекс клауд, Git hub, S3, Spark, Kafka, Airflow, DVC, ML Flow, Docker, K8s, Prometheus, Grafana и другие.

Освойте Apache AirFlow для создания и мониторинга сложных ETL-процессов. Улучшите производительность и управление данными в Big Data-проектах.

• Что такое ETL.
• Оркестрация вручную — Cron и скрипты.
• Первый оркестратор для Hadoop — Oozie.
• Введение в AirFlow.
• Локальная установка AirFlow.
• Установка в Docker.
• Настройка подключений к внешним сервисам.
• REST API & CLI.
• Практика 1: Установка и получение доступа к AirFlow.

• Запускаемое задание — граф задач (DAG).
• Оператор (operator).
• Процесс исполнения задания.
• Состояния задач (task).
• Веб-интерфейс.
• Практика 2: Планирование, ручной запуск и мониторинг выполнения заданий.

• Планировщик (Scheduler).
• Исполнитель заданий (Executor).
• Исполнитель задач (Worker).
• Веб-сервер.
• База метаданных.
• Конфигурация.
• Практика 3: Настройка исполнителей для заданий.

• Виды операторов:
  • PythonOperator.
  • BashOperator.
  • HttpOperator.
  • SQLOperator.
• Практика 4: Описание простых заданий.
• Последовательное выполнение.
• Параллельное выполнение.
• Проверка условий.
• Передача данных между операторами: переменные.
• Шаблоны и макросы.
• Практика 5: Описание составных заданий.

• Готовые сенсоры.
• Практика 6: Задание условий срабатывания заданий.
• Хуки.
• Триггеры.
• Прослушиватели.
• Backfill & catchup.
• Практика 7: Установка хуков. Мониторинг и отладка заданий.

• Плагины и нотификации.
• Сенсоры и branch операторы.
• Операторы и хуки.
• Практика 8: Разработка и использование оператора.
• Оптимизация заданий.
• Взаимодействие заданий (XCom).
• Динамические задания.
• Управление параллелизмом и пулингом.
• Тестирование заданий.
• Примеры практических задач и их решений.
• Практика 9: Тестирование и оптимизация заданий.

• Обращение к файловой системе HDFS.
• Пошаговое выполнение отдельными сессиями Spark.
• Выполнение в одной сессии через Spark REST API.
• Практика 10: Запуск заданий Spark.
• Выполнение запросов Impala.
• Практика 11: Запуск запросов Impala.
• Выполнение запросов ClickHouse.
• Практика 12: Запуск заданий ClickHouse.
• Интеграция с SuperSet.

• Многоузловой кластер AirFlow в Docker.
• Развертывание в Kubernetes.
• Аутентификация, шифрование, управление доступом.
• Журналы.
• Мониторинг.
• Обновление версий.
• Практика 13: Выполнение заданий на многоузловом кластере.