EAS-026 Основы Kafka

Вводный тренинг по Apache Kafka – платформе распределенной потоковой передачи событий с открытым исходным кодом. Рассматриваются архитектурные особенности Kafka, обеспечивающие высокопроизводительную доставку данных.

Модуль 1

• Что такое Kafka.
• Примеры удачного и неудачного использования Kafka.
• Kafka и база данных: сходства и различия. 
• Kafka и прямые конкуренты. 
• Kafka и Apache Pulsar. 
• Архитектура хранилища Kafka: Брокеры, Темы, Разделы, Сегменты, Реплики.
• Архитектура кластера Kafka: Zookeeper, партиционирование, главные и ведомые узлы репликации, ISR. 
• Клиенты и API. 

Модуль 2

• Практика 2.1:</b> запуск кластера Kafka с помощью Docker.
  
• Установка Zookeeper.
• Установка брокеров Kafka.

Модуль 3

• Самые популярные инструменты Kafka.
• Демо 3.1: Инструменты Kafka.
• Практики KafkaOps.
  

Модуль 4

• Kafka Producer API: основы.
• Практика 4.1: Отправка одного сообщения.
• Kafka Consumer API: основы, группы потребителей.
• Практика 4.2: Один получатель.
• Практика 4.3: Несколько получателей в одной группе.
• Дополнительные возможности: Пакеты, Повторы, Идемпотентность, Транзакции, Перебалансировка Групп Потребителей.
• Практика 4.4: Транзакционный Отправитель.
• Практика 4.5: Отправка и получение в транзакции.
• Практика 4.6: Замороженный потребитель.
• Практика 4.7: Медленный потребитель.
  

Модуль 5

• Безопасность: SSL, SASL, Kerberos.
• REST Proxy: отправка и получение сообщений в форматах JSON, бинарные и Авро файлы.
• Практика 5.1: доступ через REST Proxy.
• Schema Registry: реестр схем.
• Практика 5.2: Schema Registry.
  

Модуль 6

• Kafka Streams: DSL, API, StreamBuilder, создание и реализация топологии. 
• Устройство Kafka Streams: многопоточность, несколько экземпляров и задач.
• Практика 6.1: Реализация потоков без сохранения состояния. 
• Обработка с сохранением состояния: хранилище состояний, отказоустойчивость для хранилищ состояний. 
• Практика 6.2: Агрегация в Kafka Streams. 
• KTable: Потоки обновления данных, кэширование, скорость выдачи, агрегация. 
• Окна в потоках: метки времени, плавающие, прыгающие, сеансовые. 
• Соединение: поток с потоком, KTable с KTable, поток с KTable.
• >Практика 6.3: Соединение потоков и таблиц. 
• KSQL: Потоки без программирования. 
• KSQL Серверная архитектура. 
• Практика 6.4: Реализация потоков без сохранения состояния в KSQL.
• Практика 6.5: Агрегация в KSQL. 
• Практика 6.6: Соединение в KSQL. 
  

Модуль 7

• Архитектура Kafka Connect. 
• Источники Kafka Connect. 
• Практика 7.1: JDBC Source Connector (postgres). 
• Практика 7.2: JDBC Source Connector (postgres) с ключами.
• Kafka Connect Sinks. 
• Практика 7.3: JDBC Sink Connector (postgres). 
• Практика 7.4: JDBC Sink Connector (postgres) с ключами. 
  

Модуль 8

• Цели по производительности и режимы выполнения. 
• Zookeeper: конфигурация, автономный режим и режим кворума, CLI. 
• Управление и мониторинг кластера. 
• Практика 8.1: Мониторинг кластера Kafka с помощью Prometheus.
• Практика 8.2: Измерение производительности. 
  

Модуль 9

• Различные мультикластреные архитектуры MirrorMaker.
• Практика 9.1: Использование MirrorMaker для синхронизации кластеров.
• Confluence Replicator.