Apache Spark и Scala для дата-инженеров 1.0

Интенсивный практический курс для дата-инженеров, дата-сайентистов и разработчиков, знающих Scala или Java. 

В 2020 году мы провели пять потоков этого курса для сотрудников крупных компаний. За год курс прошли более 250 специалистов. Сейчас мы впервые открываем эту программу для всех желающих.  

Чему вы научитесь

• Создавать проекты на Scala API и работать в IntelliJ IDEA.

• Витрины данных
  Чтение и запись Parquet/ORC, работа с ElasticSearch, работа с Cassandra, работа с PostgreSQL через JDBC-коннектор и работа с DataFrames и DataSets API для создания витрин данных.

• Real-time
  Запуск агрегаций и джойнов на потоковых данных, output modes, watermarks, windows. Создание кастомного источника данных и синка с использованием Datasource V1 API.

Что входит в программу

• 5 лаб

Каждую неделю вам нужно будет решать лабораторную работу. Несколько лаб объединены в единый пайплайн от получения данных из Kafka до подготовки и обновления расширенной матрицы признаков.

• 5 инструментов

Помимо самого Apache Spark вы еще поработаете с Kafka, Elasticsearch, Cassandra, PostgreSQL, HDFS для формирования витрин данных для последующего анализа.

• 11 занятий

В Zoom в прямом эфире и видеозаписями в личном кабинете. На занятиях будут подробно рассмотрена работа с Dataframes API и Spark Structured Streaming.

Преподаватели: Андрей Титов, Senior Spark Engineer, NVIDIA и Егор Матешук, CDO, Quant. 

Есть рассрочка.

Для групп из 3 и более участников действует специальная цена.

Подробности о программе и отзывы выпускников на нашем сайте.