EAS-030 Kafka Advanced

Глубокое погружение в Apache Kafka: архитектура, производительность, инструменты и практика. Узнайте, как создавать надежные и эффективные системы обработки данных в реальном времени с помощью Kafka, Kafka Connect, Kafka Streams и ksqlDB.

• Кластер, брокеры, клиенты.
• Топики и разделы.
• Очистка сегментов (retention, compaction).
• Репликация, лидеры и следующие, ISR.
• Контроллеры, KRaft.
• Настройка производительности.
• Практика: запуск кластера, запись в и чтение сообщений из тем, работа с темами (вывод списка и описаний), работа с разделами (увеличиваем количество), изменение параметров тем, работа с сегментами (просмотр информации о сегментах, смещениях, записях), работа с репликами (проверка поведения при отказе брокера), тестирование производительности кластера.

• Внутреннее устройство: потоки, буферы, таймауты.
• Смещения, группы получателей.
• Автоматическое и ручное сохранение смещений.
• Перебалансировка группы.
• Практика: изучение влияния параметров производителя на производительность при отправке сообщений, проверяем влияние параметров потребителя на производительность при чтении сообщений.

• Гарантии порядка сообщений.
• Гарантии доставки at least once, exactly once.
• Транзакции.
• Обработка ошибок и повторная передача.
• Сбои сети, брокеров и клиентов.
• Практика: разработка приложений, которые используют транзакции.

• Конвейеры данных.
• Обзор Kafka Connect.
• Внутреннее устройство.
• Преобразования.
• Запуск Kafka Connect.
• Примеры коннекторов.
• Разработка коннекторов.
• Практика: работа с Kafka Connect — запуск разных сценариев интеграции с внешними системами.

• Источники и приемники.
• Сериализация, SerDe, схемы сообщений.
• Окна.
• Преобразования.
• Агрегирование.
• Сохранение состояния.
• Транзакции.
• Processor API.
• Практика: разработка приложений Kafka Streams с использованием разных API.

• Источники и приемники.
• Потоки и таблицы.
• Преобразования.
• Непрерывные запросы.
• Окна.
• Агрегирование.
• Транзакции.
• Развертывание кластера ksqlDB.
• Практика: работа с ksqlDB — интеграция с Kafka Connect, преобразования сообщений, непрерывные запросы.