Курсы по Data Engineering

Онлайн-курс «Data Engineer» от сервиса Яндекс Практикум. 6.5 месяцев обучения на инженера данных с выдачей диплома о профессиональной переподготовке.

Что входит в программу:10+ инструментов. С частью инструментов вы сможете поработать глубоко: Kafka, HDFS, ClickHouse, Spark, Airflow. С частью сможете познакомиться на практике: ELK, Flink, Docker, Grafana, Kubernetes и др.6 лаб. Почти каждую неделю вам нужно будет решать лабораторную работу и суперачивку. Лабы объединены в 2 проекта: lambda-архитектура и kappa-архитектура. Также будет реальный проект с призовым фондом для продвинутых  участников.21 занятие. С трансляциями в прямом эфире и видеозаписями в личном кабинете. Занятия устроены так, что преподаватель рассказывает об устройстве того или иного инструмента, демонстрирует разные кейсы работы, показывая подводные камни и best practices.Для кого эта программа? Дата инженеры. У вас есть опыт работы с одними инструментами и хочется получить опыт работы с другими? Вы сможете это сделать, решая наши лабы и упражнения, задавая вопросы нашим преподавателям-практикам.Администраторы БД. Вы умеете работать с классическими реляционными БД и хочется получить опыт работы с другими инструментами хранения данных? На программе вы сможете поработать с HDFS, ClickHouse, Kafka, ElasticSearch.Менеджеры. Вы занимаетесь развитием продукта или подразделения? На программе вы получите понимание, какие инструменты можно использовать для каких задач, какие у них есть достоинства и недостатки.Чему вы научитесь:Установка. Научитесь самостоятельно устанавливать все инструменты, используемые на программе, пользуясь нашими подробными мануалами.Настройка. Научитесь подключать инструменты друг к другу, формируя пайплайны, получая baseline-решение.Тюнинг. Научитесь улучшать быстродействие и отказоустойчивость как отдельных инструментов, так и пайплайнов целиком.

Обучение профессии Data Engineer в Нетологии с дипломом о профессиональной переподготовке. Программа обучения онлайн, помощь при трудоустройстве.

Специалисты Data Science нужны во всех сферах бизнеса: от маркетинга и продаж до разработки продуктов, от финансов до управленческих решений.

Курс для тех, кто желает изучить Apache Spark для решения задач дата инжиниринга. Курс нацелен на тренировку решения реальных практических задач и отлично подойдет будущим дата инженерам.

Во время курса вы будете: строить дата-пайплайны, выстраивать эффективную работу дата-архитектуры, разбираться в инструментах для управления данными

Курс «Инженер данных с нуля» — программа, которая позволит освоить востребованную профессию за 6 месяцев. Осваивайте востребованные инструменты, решайте нестандартные задачи, отрабатывайте навыки на реальных кейсах и используйте симулятор собеседований в рамках курса, чтобы качественно подготовиться к встрече с работодателями.

Получите структурированные знания о подходах и инструментах. Курс проходит с практикой в Yandex Cloud!

Обучайтесь основам Apache Spark и используйте его для эффективной обработки больших данных. В данном курсе вы узнаете все необходимое для работы с фреймворком Apache Spark, включая программирование на Python, создание табличных запросов с помощью Spark SQL и обработку данных с использованием RDD и DataFrame. Уникальное сочетание теории и практики поможет вам быстро освоить все нюансы Spark и применить их на реальных проектах.

• Map/Reduce и Spark в Hadoop.
• Примеры Spark в Lambda-архитектуре.
• Кластеры для распределенной обработки данных.
• Как запустить Spark.
• Исполнители, задания, задачи в Spark.
• В чем разница между SparkSession и SparkContext.
• Как создавать и распараллеливать RDD.
• Как трансформировать RDD.
• Как анализировать и управлять обработкой RDD (план и DAG).
• Как сохранять и хранить RDD в HDFS.
• Как группировать и соединять RDD.
• В чем разница между RDD и DataFrame.
• Как создавать и распараллеливать DataFrame.
• Как анализировать и управлять выполнением DataFrame (план и DAG).
• Как сохранять DataFrame в HDFS.
• Как читать/писать данные с файлового хранилища (HDFS, S3, FTP, локальной файловой системы).
• Какой формат данных выбрать.
• Как распараллеливать чтение/запись в JDBC.
• Как создать DataFrame из MPP (Cassandra, Vertica, Greenplum).
• Как работать с Kafka.
• Как считать строки.
• Как обрабатывать математические агрегации.
• Как группировать строки.
• Как правильно соединять DataFrames.
• Как и зачем переключаться на Spark SQL.
• Как работать с таблицей EXTERNAL.
• Как работать с таблицей MANAGED.
• Какие оконные функции существуют и как их использовать в Spark.
• Когда не следует использовать оконные функции.
• Что такое UDF, UDAF и как их использовать.
• Как оптимизировать UDFs в PySpark.
• Логические: как добавить фильтр.
• Численные: как подсчитать сумму, произведение, статистику.
• Строковые: как использовать регулярные выражения.
• Комплексные: как работать со структурами, массивами.
• Как работать с данными.
• Недостаточно памяти.
• Маленькие файлы в HDFS.
• Асимметричные данные.
• Медленные соединения.
• Трансляция больших таблиц.
• Совместное использование ресурсов.
• Новые механизмы оптимизации: AQE и DPP.
• Оркестраторы.
• Устройство Airflow.
• Встроенные операторы Airflow.
• SparkSubmitOperator.