EAS-030 Kafka Advanced

На тренинге вы углубите свои базовые знания об Apache Kafka: узнаете архитектуру Kafka, устройство Producer и Consumer, надежную доставку сообщений, использование Kafka Connect, Kafka Streams и ksqlDB. Помимо теоретических знаний вы получите практические навыки, которые помогут применить полученные знания в своей работе.

Модуль 1

• Кластер, брокеры, клиенты
• Топики и разделы
  
• Очистка сегментов (retention, compaction)
  
• Репликация, лидеры и следующие, ISR
  
• Контроллеры, KRaft
  
• Настройка производительности
  
• Практика: запуск кластера, запись в и чтение сообщений из тем, работа с темами (вывод списка и описаний), работа с разделами (увеличиваем количество), изменение параметров тем, работа с сегментами (просмотр информации о сегментах, смещениях, записях), работа с репликами (проверка поведения при отказе брокера), тестирование производительности кластера.
  

Модуль 2

• Внутреннее устройство: потоки, буферы, таймауты
• Смещения, группы получателей
  
• Автоматическое и ручное сохранение смещений
  
• Перебалансировка группы
  
• Практика: изучение влияния параметров производителя на производительность при отправке сообщений, проверяем влияние параметров потребителя на производительность при чтении сообщений.
  

Модуль 3

• Гарантии порядка сообщений
• Гарантии доставки at least once, exactly once
  
• Транзакции
  
• Обработка ошибок и повторная передача
  
• Сбои сети, брокеров и клиентов
  
• Практика: разработка приложений, которые используют транзакции.
  

Модуль 4

• Конвейеры данных
• Обзор Kafka Connect
  
• Внутреннее устройство
  
• Преобразования
  
• Запуск Kafka Connect
  
• Примеры коннекторов
  
• Разработка коннекторов
  
• Практика: работа с Kafka Connect — запуск разных сценариев интеграции с внешними системами.
  

Модуль 5

• Источники и приемники
• Сериализация, SerDe, схемы сообщений
  
• Окна
  
• Преобразования
  
• Агрегирование
  
• Сохранение состояния
  
• Транзакции
  
• Processor API
  
• Практика: разработка приложений Kafka Streams с использованием разных API.
  

Модуль 6

• Источники и приемники
• Потоки и таблицы
• Преобразования
• Непрерывные запросы
• Окна
• Агрегирование
• Транзакции
• Развертывание кластера ksqlDB
• Практика: работа с ksqlDB — интеграция с Kafka Connect, преобразования сообщений, непрерывные запросы.