Глубокое погружение в Apache Kafka: архитектура, производительность, инструменты и практика. Узнайте, как создавать надежные и эффективные системы обработки данных в реальном времени с помощью Kafka, Kafka Connect, Kafka Streams и ksqlDB.

• Кластер, брокеры, клиенты.
• Топики и разделы.
• Очистка сегментов (retention, compaction).
• Репликация, лидеры и следующие, ISR.
• Контроллеры, KRaft.
• Настройка производительности.
• Практика: запуск кластера, запись в и чтение сообщений из тем, работа с темами (вывод списка и описаний), работа с разделами (увеличиваем количество), изменение параметров тем, работа с сегментами (просмотр информации о сегментах, смещениях, записях), работа с репликами (проверка поведения при отказе брокера), тестирование производительности кластера.

• Внутреннее устройство: потоки, буферы, таймауты.
• Смещения, группы получателей.
• Автоматическое и ручное сохранение смещений.
• Перебалансировка группы.
• Практика: изучение влияния параметров производителя на производительность при отправке сообщений, проверяем влияние параметров потребителя на производительность при чтении сообщений.

• Гарантии порядка сообщений.
• Гарантии доставки at least once, exactly once.
• Транзакции.
• Обработка ошибок и повторная передача.
• Сбои сети, брокеров и клиентов.
• Практика: разработка приложений, которые используют транзакции.

• Конвейеры данных.
• Обзор Kafka Connect.
• Внутреннее устройство.
• Преобразования.
• Запуск Kafka Connect.
• Примеры коннекторов.
• Разработка коннекторов.
• Практика: работа с Kafka Connect — запуск разных сценариев интеграции с внешними системами.

• Источники и приемники.
• Сериализация, SerDe, схемы сообщений.
• Окна.
• Преобразования.
• Агрегирование.
• Сохранение состояния.
• Транзакции.
• Processor API.
• Практика: разработка приложений Kafka Streams с использованием разных API.

• Источники и приемники.
• Потоки и таблицы.
• Преобразования.
• Непрерывные запросы.
• Окна.
• Агрегирование.
• Транзакции.
• Развертывание кластера ksqlDB.
• Практика: работа с ksqlDB — интеграция с Kafka Connect, преобразования сообщений, непрерывные запросы.

Обучение на онлайн-курсе системного аналитика с повышением квалификации. Диплом о профессиональной подготовке в Нетологии.

За 11 месяцев научитесь разрабатывать архитектуру данных, даже если у вас нет опыта в IT. Получите востребованную профессию и реальный опыт.

Бизнес-аналитик — это специалист в области бизнес-анализа, который исследует и интерпретирует данные, связанные с бизнес-процессами и операциями компании. Его задача — выявлять закономерности, проблемы и точки роста, чтобы предлагать решения, повышающие эффективность и помогающие принимать обоснованные стратегические решения. Эффективный бизнес-анализ требует глубокого понимания бизнес-модели компании, её целей и текущих задач. Эта профессия стремительно развивается и входит в число наиболее востребованных в бизнес-среде.Овладеть инструментами бизнес-анализа, включая SQL, можно в рамках онлайн-обучения

Освойте Data Science с нуля. Вы попробуете силы в аналитике данных и машинном обучении, подробно изучите направление, которое нравится вам больше. Отточите навыки на реальных проектах и станете востребованным специалистом.

Вы изучите основы программирования и основные концепции компьютерных наук, цифровые технологии, операционные системы, программное обеспечение, базы данных, системы аналитики, языки программирования и многое другое. Познакомитесь с тестированием и системным анализом. На программе сможете сделать осознанный выбор специализации и технологий, прокачаться в выбранном направлении.

Курс "Системный аналитик с нуля до PRO" от Eduson Academy обучает востребованной IT-профессии без необходимости знаний программирования. Обучение длится 6 месяцев и проходит в гибком онлайн-формате с персональным наставничеством. Выпускники могут рассчитывать на среднюю зарплату в 180,000 рублей в месяц и получают помощь с трудоустройством или возврат денег. Программа включает сбор требований, управление базами данных SQL, проектирование систем с BPMN и UML, а также управление проектами по методологиям Agile и Scrum.

Курс для ИТ-аналитиков и проектировщиков, которые хотят разобраться в теме интеграций и научиться проектировать взаимодействие ИТ-систем.

Для кого этот курс? MLOps — это не человек, а набор практик, которым должны обладать различные специалисты. Поэтому знание MLOps для каждой роли открывает свои возможности в команде. Для Data Scientist-ов: если вы уже умеете создавать модели, то научитесь деплоить их в прод.Для ML Engineer-ов: сможете унифицировать управление несколькими моделями.Для Data Engineer-ов: вам откроется остальная часть data-driven конвейеров: валидация, обучение, вывод ML моделей в прод и мониторинг.Для Data Analytic-ов: сможете выйти за рамки графиков и дашбордов и запустить свои модели в онлайне.Для Softwear Engineer-ов: будете понимать, что нужно делать, если на вашем продукте планируют внедрять ML. Необходимые знания построение веб-сервисов на pythonопыт разработки на pythonопыт использования python для решения задач MLLinuxGit Что вам даст этот курс? Данный курс даст вам понимание того, как устроен процесс внедрения ML-решения от идеи до вывода его в прод. Преподаватели поделятся лучшими практиками и инструментами MLOps, которые устоялись в современной индустрии. Примеры практических задач, рассматриваемых на курсе: Как правильно организовать хранение исходниковГде и как хранить данныеКак сделать CI/CDКак регулярно обновлять данные и переобучать моделиКак управлять инфраструктурой в облакахКак упаковывать ML модели в микросервисыКак разворачивать k8sКак настраивать мониторинг и алертинг Инструменты, которые используются на курсе: Яндекс клауд, Git hub, S3, Spark, Kafka, Airflow, DVC, ML Flow, Docker, K8s, Prometheus, Grafana и другие.