EAS-004 Основы хранилищ данных

Получите полное представление о проектировании и использовании хранилищ данных. Курс охватывает все этапы жизненного цикла DWH, начиная с проектирования и заканчивая эксплуатацией и выводом из сопровождения. Вы научитесь принимать архитектурные решения и избегать типовых ошибок.

• Понятие «хранилище данных». Его возможности и ограничения. Зачем создается DWH, какую бизнес-задачу оно решает.
• Классические подходы к проектированию хранилищ данных. Типовые компоненты и протекающие процессы. Концепции Инмона, Кимбалла и DataVault. Обзор основных компонентов (stage, ods, dds, datamart, bi, metadata) и процессов (ETL, ELT, DQ, lineage).
• Общие и частные вопросы управления данными предприятия. Информация рассматривается как актив, приносящий ценность и имеющий затраты на получение. Концепция «мастер-данные» и системы по их управлению – MDM.
• Шаги проектирования хранилища. Типовые приемы и инструментарий при создании. Экспертиза участников и инфраструктуры.
• Потребность в хранении исходных данных из системы источника. Типичные ошибки при организации данной области и ее отличие от «озера данных».
• Слои операционного и многомерного хранения данных. Процессы извлечения, очистки, контроля и сохранения - ETL\ELT. Трансформация в целевую схему хранения.
• Типовые сценарии использования данных из хранилищ. Основные потребители - системы бизнес-аналитики «BI». Устройство типовой БИ системы и причины их большого разнообразия.
• Обзор основных проблем, с которыми сталкиваются хранилища при росте. Новые вызовы в области машинного обучения. Концепция Data Mesh как альтернатива дальнейшего развития.