Apache Spark для дата инженеров

Где проходит обучение

Онлайн обучение

Начало учёбы и длительность

16 февраля 2021 · 1 месяц и 3 недели

Стоимость

65 000 рублей

Описание курса

Подготовка витрин данных. Создание real-time приложений. Scala API

Что входит в программу

  • 5 лаб

Каждую неделю вам нужно будет решать лабораторную работу. Несколько лаб объединены в единый пайплайн от получения данных из Kafka до подготовки и обновления расширенной матрицы признаков.

  • 5 инструментов

Помимо самого Apache Spark вы еще поработаете с Kafka, Elasticsearch, Cassandra, PostgreSQL, HDFS для формирования витрин данных для последующего анализа.

  • 11 занятий

В Zoom в прямом эфире и видеозаписями в личном кабинете. На занятиях будут подробно рассмотрена работа с Dataframes API и Spark Structured Streaming.

Чему вы научитесь

  • Scala API.   Всё самое лучшее и свежее в Apache Spark есть в скаловском API. Программа начинается с вводного занятия по этому языку. Вы научитесь создавать проекты и работать в IntelliJ IDEA.
  • Витрины данных
    Чтение и запись Parquet/ORC, работа с ElasticSearch, работа с Cassandra, работа с PostgreSQL через JDBC-коннектор и работа с DataFrames и DataSets API для создания витрин данных.
  • Real-time
    Запуск агрегаций и джойнов на потоковых данных, output modes, watermarks, windows. Создание кастомного источника данных и синка с использованием Datasource V1 API.

Наши преподаватели — только практики из индустрии, умеющие объяснять сложные вещи простыми словами.

Мы используем образовательные инструменты, которые позволяют вам приобрести знания и навыки с максимальной вероятностью. По статистике, доля успешно завершивших обычный онлайн-курс редко превышает 25%. На нашей программе, вне зависимости в оффлайне она проходит или в онлайне – стабильно свыше 70% участников получают по ее итогам сертификат.

До 31 декабря 2020 г. действует специальная цена.

Возможна рассрочка.

Больше подробностей о программе на нашем сайте.