Разработчик DWH (ритейл)

5 декабря 2021

Требования

• Полный рабочий день • Можно удаленно

ИТ-компания, работающая в сфере разработки, системной интеграции, сервисных услуг и аутсорсинга, консалтинга

Задачи:

Разработка и поддержка аналитического хранилища данных (ADW/DWH);
Построение и доработка витрин данных;
Разработка и интеграция потоков данных (ETL pipelines) из различных источников;
Обслуживание и поддержка существующих потоков (pipelines);
Контроль качества данных, создание инструментов мониторинга ETL-процессов и контроля качества данных в них;
Интеграция новых источники данных;
Оптимизация работы хранилища: производительность, эффективное хранение данных, скорость работы потоков.

Стэк технологий:

ETL, SQL, PostgreSQL, Apache Airflow, Git, CDC (Change data capture, напр. Debezium), Docker/Kubernetes

Желательно знание:

Tableau, Greenplum, BI инструментов, инструментов трансформации DBT, Apache Spark