Разработчик аналитического хранилища/data engineer

Проект: 

ФАЙВ  ПОСТ (5ПОСТ,5Post) — дочернее подразделение X5 Retail Group, развивающее услуги доставки заказов из интернет-магазинов и маркетплейсов.

Есть несколько типов точек выдачи: выдача на кассах в магазинах Пятерочка, в постаматах, ПВЗ.

Для удобства клиентов система интегрирована с AliExpress, Яндекс маркет,  Ozon, Беру, IHerb, Мвидео, Эльдорадо и другими площадками (весь список есть на сайте).

Стек: PostgreSQL, Tarantool, Apache Kafka, Kafka Connect + Debezium, Apache Airflow,  DBT, Tableau, Gitlab, OpenShift, Docker

Хранилище на PostgreSQL 12/13, планируется переход на Greenplum

В качестве ETL - Debezium + Apache Airflow + DBT

Требования:

• Практический опыт работы с аналитическими хранилищами данных
• Разработка, ETL / ELT pipeline, моделирование данных, data provisioning
• Отличное знание SQL
• Умение оптимизировать запросы SQL (анализ планов выполнения запросов, индексирование, поиск узких мест)
• Опыт разработки на любом языке (Python, Java и др.)
• Опыт работы c PostgreSQL
• Опыт оркестрации в Apache Airflow
• Опыт ведения проектов в Git
• Опыт работы с инструментами CDC (Change data capture, напр. Debezium).

Желательно:

• Визуализация данных при помощи Tableau
• Опыт работы с Greenplum и другими аналитическими СУБД
• Опыт работы с BI инструментами
• Опыт работы с инструментами трансформации DBT, Apache Spark
• Опыт работы с Docker/Kubernetes.

Обязанности:

• Разработка и поддержка аналитического хранилища данных (ADW/DWH)
• Построение и доработка витрин данных
• Разработка и интеграция потоков данных (конвейеров ETL) из различных источников
• Обслуживание и поддержка существующих потоков (конвейеров)
• Контроль качества данных, создание инструментов мониторинга ETL-процессов и контроля качества данных в них
• Интеграция новых источники данных
• Оптимизация работы хранилища: производительность, эффективное хранение данных, скорость работы потоков.

Условия:

• Конкурентоспособная заработная плата;
• Оформление по бессрочному трудовому договору с первого дня работы;
• Перспектива профессионального и карьерного развития;
• Возможность работать удаленно.