Обучение профессии Data Engineer в Нетологии с дипломом о профессиональной переподготовке. Программа обучения онлайн, помощь при трудоустройстве.

За 11 месяцев научитесь разрабатывать архитектуру данных, даже если у вас нет опыта в IT. Получите востребованную профессию и реальный опыт.

Получите структурированные знания о подходах и инструментах. Курс проходит с практикой в Yandex Cloud!

Во время курса вы будете: строить дата-пайплайны, выстраивать эффективную работу дата-архитектуры, разбираться в инструментах для управления данными

Специалисты Data Science нужны во всех сферах бизнеса: от маркетинга и продаж до разработки продуктов, от финансов до управленческих решений.

Курс для тех, кто желает изучить Apache Spark для решения задач дата инжиниринга. Курс нацелен на тренировку решения реальных практических задач и отлично подойдет будущим дата инженерам.

Курс «Инженер данных с нуля» — программа, которая позволит освоить востребованную профессию за 6 месяцев. Осваивайте востребованные инструменты, решайте нестандартные задачи, отрабатывайте навыки на реальных кейсах и используйте симулятор собеседований в рамках курса, чтобы качественно подготовиться к встрече с работодателями.

Обучайтесь основам Apache Spark и используйте его для эффективной обработки больших данных. В данном курсе вы узнаете все необходимое для работы с фреймворком Apache Spark, включая программирование на Python, создание табличных запросов с помощью Spark SQL и обработку данных с использованием RDD и DataFrame. Уникальное сочетание теории и практики поможет вам быстро освоить все нюансы Spark и применить их на реальных проектах.

• Map/Reduce и Spark в Hadoop.
• Примеры Spark в Lambda-архитектуре.
• Кластеры для распределенной обработки данных.
• Как запустить Spark.
• Исполнители, задания, задачи в Spark.
• В чем разница между SparkSession и SparkContext.
• Как создавать и распараллеливать RDD.
• Как трансформировать RDD.
• Как анализировать и управлять обработкой RDD (план и DAG).
• Как сохранять и хранить RDD в HDFS.
• Как группировать и соединять RDD.
• В чем разница между RDD и DataFrame.
• Как создавать и распараллеливать DataFrame.
• Как анализировать и управлять выполнением DataFrame (план и DAG).
• Как сохранять DataFrame в HDFS.
• Как читать/писать данные с файлового хранилища (HDFS, S3, FTP, локальной файловой системы).
• Какой формат данных выбрать.
• Как распараллеливать чтение/запись в JDBC.
• Как создать DataFrame из MPP (Cassandra, Vertica, Greenplum).
• Как работать с Kafka.
• Как считать строки.
• Как обрабатывать математические агрегации.
• Как группировать строки.
• Как правильно соединять DataFrames.
• Как и зачем переключаться на Spark SQL.
• Как работать с таблицей EXTERNAL.
• Как работать с таблицей MANAGED.
• Какие оконные функции существуют и как их использовать в Spark.
• Когда не следует использовать оконные функции.
• Что такое UDF, UDAF и как их использовать.
• Как оптимизировать UDFs в PySpark.
• Логические: как добавить фильтр.
• Численные: как подсчитать сумму, произведение, статистику.
• Строковые: как использовать регулярные выражения.
• Комплексные: как работать со структурами, массивами.
• Как работать с данными.
• Недостаточно памяти.
• Маленькие файлы в HDFS.
• Асимметричные данные.
• Медленные соединения.
• Трансляция больших таблиц.
• Совместное использование ресурсов.
• Новые механизмы оптимизации: AQE и DPP.
• Оркестраторы.
• Устройство Airflow.
• Встроенные операторы Airflow.
• SparkSubmitOperator.

Big Data — самое перспективное и быстро развивающееся направление сегодня.

Данные используются практически во всех отраслях: банковская сфера, медицина, маркетинг, страхование, ритейл и многие другие. Дата-инженеры востребованы как на российском, так и на мировом рынке труда.

• Самостоятельное обучение на корпоративной платформе
• Предоставим доступ к материалам на корпоративной платформе
• Возможность организовать обучение в удобном ритме
• После обучения — сессия с преподавателем в онлайн-формате

Этапы обучения

1. Зачисление 2. Обучение 3. Зачисление в Лабораторию