Курсы по Инженерии данных

Курс «Инженер данных с нуля» — программа, которая позволит освоить востребованную профессию за 6 месяцев. Осваивайте востребованные инструменты, решайте нестандартные задачи, отрабатывайте навыки на реальных кейсах и используйте симулятор собеседований в рамках курса, чтобы качественно подготовиться к встрече с работодателями.

Обучение профессии Data Engineer в Нетологии с дипломом о профессиональной переподготовке. Программа обучения онлайн, помощь при трудоустройстве.

Живой практикум по Data Engineering: поднимаем локальный кластер (Spark + Postgres + Jupyter + Airflow), строим слои RAW/STG/CORE на реальном датасете и разбираем паттерны middle-уровня. Формат потока: небольшая группа, плотная поддержка и доработка курса по вашей обратной связи.

Онлайн-курс «Data Engineer» от сервиса Яндекс Практикум. 6.5 месяцев обучения на инженера данных с выдачей диплома о профессиональной переподготовке.

Специалисты Data Science нужны во всех сферах бизнеса: от маркетинга и продаж до разработки продуктов, от финансов до управленческих решений.

Программа профессиональной переподготовки для специалистов, которые хотят получить новую квалификацию в прикладной профессиональной области, систематизировать знания и подтвердить подготовку документом установленного образца. Обучение проходит дистанционно и подходит для карьерного и профессионального развития.

Практический курс по Trino как распределенному SQL-движку для федеративной аналитики и архитектуры озера данных. За 16 академических часов слушатели развернут Trino в Docker Compose, подключат Apache Iceberg/S3, PostgreSQL/Pangolin, ClickHouse и Kafka, настроят REST-каталог, выполнят чтение и запись в Apache Iceberg, разберут планы и оптимизацию федеративных запросов, подключат DBeaver и Superset и отработают эксплуатацию и мониторинг промышленного кластера. Сквозной сюжет курса — выбор границ применимости Trino в сравнении с PostgreSQL/Pangolin, Greenplum, ClickHouse, Spark SQL и Flink.Архитектура Trino: координатор, рабочие узлы, каталоги и модули подключения; жизненный цикл запроса. Модель выполнения: стадии, задачи, фрагменты данных и сетевые обмены; что выполняет Trino, а что передает источнику. Развертывание стенда в Docker Compose; подключение DBeaver. PostgreSQL/Pangolin и ClickHouse: типы данных, передача вычислений источнику, ограничения модулей подключения. Первый федеративный запрос и чтение EXPLAIN. Сравнение Trino с PostgreSQL/Pangolin, Greenplum и ClickHouse по классам задач.Apache Iceberg: метаданные, снимки, манифесты, скрытое секционирование. REST-каталог; обзор альтернативных реализаций каталогов. S3-совместимое хранилище: MinIO и Yandex Object Storage; место HDFS и отличия объектного хранилища. CREATE TABLE, CTAS, INSERT, UPDATE, DELETE, MERGE. Изменение схемы и секционирования, доступ к состоянию на момент снимка, служебные таблицы метаданных. Статистика, размер файлов, проблема множества мелких файлов, уплотнение и обслуживание; совместная работа с Spark.Передача фильтрации, выбора столбцов и агрегирования источнику; отсечение секций; статистика и стоимостной оптимизатор. Порядок соединений, соединение с рассылкой малой таблицы и соединение с перераспределением по ключу, динамическая фильтрация, сетевые обмены, перекос данных, память и выгрузка на диск. EXPLAIN ANALYZE и поиск узкого места в федеративном запросе Apache Iceberg + PostgreSQL/Pangolin + ClickHouse. Федерация или материализация данных, либо выполнение непосредственно в исходной системе. Kafka: отображение сообщений на таблицы, схемы данных, временные метки. Trino, Spark SQL и Flink: интерактивные и федеративные запросы, пакетная и потоковая обработка. Выполнение на уровне операторов, конвейеры обработки, внутреннее устройство сетевых обменов и модели стоимости.Промышленная топология; модель памяти JVM, параллельность, группы ресурсов и ограничения. Выгрузка промежуточных данных на диск, повторные попытки, отказоустойчивое выполнение, диспетчер сетевых обменов, отказ рабочего узла. TLS, проверка подлинности, разграничение доступа, секреты и аудит. DBeaver и Superset; изоляция BI-нагрузки и защита от неконтролируемых запросов. Веб-интерфейс, журналы, JMX, Prometheus/Grafana. Лабораторная по наблюдаемости: диагностика нагрузки или сбоя по плану, статистике выполнения, метрикам и журналам. Итоговый кейс по архитектуре и оптимизации; тестирование.

(16 ак. часов) Курс учит проектировать и внедрять федеративную аналитическую платформу на базе Trino: от развертывания и настройки кластера до подключения гетерогенных источников, оптимизации SQL-запросов и базовой эксплуатации/мониторинга. В результате вы сможете дать аналитикам и DS быстрый доступ к данным из Data Lake, DWH и операционных БД через единый SQL-слой, сокращая лишние перемещения данных и упрощая архитектуру.

Big Data — самое перспективное и быстро развивающееся направление сегодня.

Данные используются практически во всех отраслях: банковская сфера, медицина, маркетинг, страхование, ритейл и многие другие. Дата-инженеры востребованы как на российском, так и на мировом рынке труда.

• Самостоятельное обучение на корпоративной платформе
• Предоставим доступ к материалам на корпоративной платформе
• Возможность организовать обучение в удобном ритме
• После обучения — сессия с преподавателем в онлайн-формате

Этапы обучения

1. Зачисление 2. Обучение 3. Зачисление в Лабораторию