Курсы по Big Data

Освоите всё с нуля за 13 месяцев — от простого к сложному. Будете решать настоящие задачи бизнеса и практиковаться на реальных данных от лидеров индустрии.

За 12 месяцев обучения по 15 часов в неделю вы освоите профессию аналитика данных.

За 17 месяцев обучения по 15 часов в неделю вы освоите навыки.

Освойте Apache AirFlow для создания и мониторинга сложных ETL-процессов. Улучшите производительность и управление данными в Big Data-проектах.

• Что такое ETL.
• Оркестрация вручную — Cron и скрипты.
• Первый оркестратор для Hadoop — Oozie.
• Введение в AirFlow.
• Локальная установка AirFlow.
• Установка в Docker.
• Настройка подключений к внешним сервисам.
• REST API & CLI.
• Практика 1: Установка и получение доступа к AirFlow.

• Запускаемое задание — граф задач (DAG).
• Оператор (operator).
• Процесс исполнения задания.
• Состояния задач (task).
• Веб-интерфейс.
• Практика 2: Планирование, ручной запуск и мониторинг выполнения заданий.

• Планировщик (Scheduler).
• Исполнитель заданий (Executor).
• Исполнитель задач (Worker).
• Веб-сервер.
• База метаданных.
• Конфигурация.
• Практика 3: Настройка исполнителей для заданий.

• Виды операторов:
  • PythonOperator.
  • BashOperator.
  • HttpOperator.
  • SQLOperator.
• Практика 4: Описание простых заданий.
• Последовательное выполнение.
• Параллельное выполнение.
• Проверка условий.
• Передача данных между операторами: переменные.
• Шаблоны и макросы.
• Практика 5: Описание составных заданий.

• Готовые сенсоры.
• Практика 6: Задание условий срабатывания заданий.
• Хуки.
• Триггеры.
• Прослушиватели.
• Backfill & catchup.
• Практика 7: Установка хуков. Мониторинг и отладка заданий.

• Плагины и нотификации.
• Сенсоры и branch операторы.
• Операторы и хуки.
• Практика 8: Разработка и использование оператора.
• Оптимизация заданий.
• Взаимодействие заданий (XCom).
• Динамические задания.
• Управление параллелизмом и пулингом.
• Тестирование заданий.
• Примеры практических задач и их решений.
• Практика 9: Тестирование и оптимизация заданий.

• Обращение к файловой системе HDFS.
• Пошаговое выполнение отдельными сессиями Spark.
• Выполнение в одной сессии через Spark REST API.
• Практика 10: Запуск заданий Spark.
• Выполнение запросов Impala.
• Практика 11: Запуск запросов Impala.
• Выполнение запросов ClickHouse.
• Практика 12: Запуск заданий ClickHouse.
• Интеграция с SuperSet.

• Многоузловой кластер AirFlow в Docker.
• Развертывание в Kubernetes.
• Аутентификация, шифрование, управление доступом.
• Журналы.
• Мониторинг.
• Обновление версий.
• Практика 13: Выполнение заданий на многоузловом кластере.

За 8 месяцев научитесь собирать и интерпретировать данные для задач бизнеса: от маркетинга до производства, рассчитывать метрики эффективности

Магистратура ВШЭ и Karpov.courses — это прикладная программа обучения на базе фундаментальных знаний. Вы научитесь решать аналитические задачи на продвинутом уровне, строить BI-системы, разбираться в инфраструктуре для работы с данными и создавать ML-модели. Академическая экспертиза ВШЭ сочетается с актуальными практиками в гибком формате.

Бесплатный курс «Симулятор SQL» разработан специально для новичков и позволяет с нуля овладеть самым востребованным инструментом для работы с данными. Учитесь в удобное время, решайте реальные продуктовые задачи и получите хорошую базу для дальнейшего развития в сфере Data Science.

Основные темы: Основы работы с Excel и настройка рабочего пространства. Формулы и функции (математические, логические, текстовые, дата-время). Сводные таблицы и управление большими данными. Визуализация данных: графики, диаграммы, условное форматирование. Инструменты анализа (Что-если, Целевое Seek, Макросы). Автоматизация задач с помощью VBA. Что включено: Практические задания и 4 реальных проекта для портфолио. Поддержка ментора. Сертификат о прохождении курса. Требования: Нет специальных предварительных знаний. Необходим компьютер с установленным Microsoft Excel. Результат: Владение продвинутыми навыками Excel для анализа данных. Возможность использовать навыки в работе или учебе

Вы изучите основы программирования и основные концепции компьютерных наук, цифровые технологии, операционные системы, программное обеспечение, базы данных, системы аналитики, языки программирования и многое другое. Познакомитесь с тестированием и системным анализом. На программе сможете сделать осознанный выбор специализации и технологий, прокачаться в выбранном направлении.