(24 ак. часов) Курс дает практику эксплуатации и использования Greenplum (и при желании Arenadata DB) как MPP-платформы для аналитических DWH/Data Lake: архитектура кластера, партиционирование и индексы, транзакции/блокировки, оптимизация SQL и разбор планов выполнения. В результате вы сможете организовывать загрузку и обработку данных (external tables/PXF, UDF, JSON/XML), строить ETL/ELT и многоуровневое хранилище, а также интегрировать Greenplum с потоковыми и оркестрационными компонентами (Kafka/NiFi/GPSS, Spark) для промышленной аналитики больших объемов данных.

Программа «Инженер данных» предназначена для аналитиков, инженеров данных, BI- и бэкенд-разработчиков. За 5 месяцев онлайн-обучения узнаете, как подбирать эффективные инструменты под любые задачи обработки данных, освоите актуальные для сферы инструменты и защитите проект, которым вы сможете дополнить свое резюме.

Для кого этот курс? Для системных аналитиков, BI-аналитиков, аналитиков данных: вы изучите инженерию данных, освоите современные инструменты аналитики с открытым кодом и ELT-пайплайны; сможете создавать сквозные аналитические решения. Для инженеров данных, администраторов баз данных, системных администраторов, разработчиков, технических директоров: научитесь решать задачи, связанные с организацией хранения и анализом данных; узнаете, как выбирать эффективные стеки технологий. Необходимые знания SQL & PythonDockerБазовые команды терминала LinuxПонимать в общих чертах архитектуру хранилищ данных Что вам даст этот курс? Аналитические приложения сегодня строятся на стыке инженерных практик (Software/Data Engineering), понимании специфики продуктов и бизнеса (Data/Business Analysis), быстрой и качественной поставки сервисов (DevOps). Курс ставит своей целью научить слушателей собирать полноценные end-to-end аналитические решения с использованием самых актуальных и востребованных инструментов за 120 + академический часов.  Материал будет изучаться как вглубь (например, принципы функционирования аналитических СУБД), так и вширь (сравнение инструментов, анализ сильных и слабых сторон решений). Вы научитесь: Навыкам построения ELT-pipelines: Airflow, Nifi, AirbyteПринципам работы аналитических СУБД: Redshift, Greenplum, ClickhouseИзучите лучшие практики моделирования данных: dbt, Data VaultВизуализации и BI: Metabase, Superset, DataLensПродвинутой аналитике: KPI, Funnels, Marketing Attribution, Cohort, RFMDevOps-практикам: Continuous Integration, Github Actions Некоторые темы итоговых работ выпукников 2023:  Сквозная аналитика для B2B-компании / Web analysis (Crawling & parsing websites data)RFM Анализ клиентов программы лояльности с использованием dbt и ClickhouseСбор и анализ данных праздничных дней на базе Python, PostgreSQL и Yandex DataLenseАнализ кибератак на информационную инфраструктуру с помощью Clickhouse + dbtПостроение DWH в Retail с применением методов ML для расчета прогнозных метрикПостроение хранилища данных и аналитической отчетности сферы ритэйла Implementation of the data warehouse and analytical reporting in the retail sector