Разработчик DWH (ритейл)
Требования
Местоположение и тип занятости
Компания
ИТ-компания, работающая в сфере разработки, системной интеграции, сервисных услуг и аутсорсинга, консалтинга
Описание вакансии
Условия работы
Задачи:
- Разработка и поддержка аналитического хранилища данных (ADW/DWH);
- Построение и доработка витрин данных;
- Разработка и интеграция потоков данных (ETL pipelines) из различных источников;
- Обслуживание и поддержка существующих потоков (pipelines);
- Контроль качества данных, создание инструментов мониторинга ETL-процессов и контроля качества данных в них;
- Интеграция новых источники данных;
- Оптимизация работы хранилища: производительность, эффективное хранение данных, скорость работы потоков.
Стэк технологий:
ETL, SQL, PostgreSQL, Apache Airflow, Git, CDC (Change data capture, напр. Debezium), Docker/Kubernetes
Желательно знание:
Tableau, Greenplum, BI инструментов, инструментов трансформации DBT, Apache Spark