Курсы по Data Engineering

Онлайн-курс «Data Engineer» от сервиса Яндекс Практикум. 6.5 месяцев обучения на инженера данных с выдачей диплома о профессиональной переподготовке.

Во время курса вы будете: строить дата-пайплайны, выстраивать эффективную работу дата-архитектуры, разбираться в инструментах для управления данными

Курс для тех, кто желает изучить Apache Spark для решения задач дата инжиниринга. Курс нацелен на тренировку решения реальных практических задач и отлично подойдет будущим дата инженерам.

Авторский курс по SQL с онлайн-сопровождением и акцентом на задачи Data Engineering (и не только). Вас ждет широкий набор практических заданий и поддержка преподавателя в закрытом Telegram-канале. Сложные темы объясняются простым языком, а живое комьюнити помогает не застревать на мелочах. В рамках курса: Более 100 разнообразных задач и 90 тестов.Работа с двумя базами данных.Курс постоянно расширяется — новые материалы и задания появляются регулярно.Итоговая курсовая работа.

Обучение профессии Data Engineer в Нетологии с дипломом о профессиональной переподготовке. Программа обучения онлайн, помощь при трудоустройстве.

Постройте карьеру дата-инженера. Обучение в онлайн-магистратуре Нетологии с дипломом государственного образца НИУ ВШЭ.

Обучайтесь основам Apache Spark и используйте его для эффективной обработки больших данных. В данном курсе вы узнаете все необходимое для работы с фреймворком Apache Spark, включая программирование на Python, создание табличных запросов с помощью Spark SQL и обработку данных с использованием RDD и DataFrame. Уникальное сочетание теории и практики поможет вам быстро освоить все нюансы Spark и применить их на реальных проектах.

• Map/Reduce и Spark в Hadoop.
• Примеры Spark в Lambda-архитектуре.
• Кластеры для распределенной обработки данных.
• Как запустить Spark.
• Исполнители, задания, задачи в Spark.
• В чем разница между SparkSession и SparkContext.
• Как создавать и распараллеливать RDD.
• Как трансформировать RDD.
• Как анализировать и управлять обработкой RDD (план и DAG).
• Как сохранять и хранить RDD в HDFS.
• Как группировать и соединять RDD.
• В чем разница между RDD и DataFrame.
• Как создавать и распараллеливать DataFrame.
• Как анализировать и управлять выполнением DataFrame (план и DAG).
• Как сохранять DataFrame в HDFS.
• Как читать/писать данные с файлового хранилища (HDFS, S3, FTP, локальной файловой системы).
• Какой формат данных выбрать.
• Как распараллеливать чтение/запись в JDBC.
• Как создать DataFrame из MPP (Cassandra, Vertica, Greenplum).
• Как работать с Kafka.
• Как считать строки.
• Как обрабатывать математические агрегации.
• Как группировать строки.
• Как правильно соединять DataFrames.
• Как и зачем переключаться на Spark SQL.
• Как работать с таблицей EXTERNAL.
• Как работать с таблицей MANAGED.
• Какие оконные функции существуют и как их использовать в Spark.
• Когда не следует использовать оконные функции.
• Что такое UDF, UDAF и как их использовать.
• Как оптимизировать UDFs в PySpark.
• Логические: как добавить фильтр.
• Численные: как подсчитать сумму, произведение, статистику.
• Строковые: как использовать регулярные выражения.
• Комплексные: как работать со структурами, массивами.
• Как работать с данными.
• Недостаточно памяти.
• Маленькие файлы в HDFS.
• Асимметричные данные.
• Медленные соединения.
• Трансляция больших таблиц.
• Совместное использование ресурсов.
• Новые механизмы оптимизации: AQE и DPP.
• Оркестраторы.
• Устройство Airflow.
• Встроенные операторы Airflow.
• SparkSubmitOperator.

Получите структурированные знания о подходах и инструментах. Курс проходит с практикой в Yandex Cloud!

За 11 месяцев научитесь разрабатывать архитектуру данных, даже если у вас нет опыта в IT. Получите востребованную профессию и реальный опыт.