Разработчик аналитического хранилища/data engineer
Требования
Местоположение и тип занятости
Компания
Международная компания, специализирующаяся на консалтинге, технологических услугах и аутсорсинге
Описание вакансии
Условия работы
Требования:
- Практический опыт работы с аналитическими хранилищами данных
- Разработка, ETL / ELT pipeline, моделирование данных, data provisioning
- Отличное знание SQL
- Умение оптимизировать запросы SQL (анализ планов выполнения запросов, индексирование, поиск узких мест)
- Опыт разработки на любом языке (Python, Java и др.)
- Опыт работы c PostgreSQL
- Опыт оркестрации в Apache Airflow
- Опыт ведения проектов в Git
- Опыт работы с инструментами CDC (Change data capture, напр. Debezium).
Желательно:
- Визуализация данных при помощи Tableau
- Опыт работы с Greenplum и другими аналитическими СУБД
- Опыт работы с BI инструментами
- Опыт работы с инструментами трансформации DBT, Apache Spark
- Опыт работы с Docker/Kubernetes.
Обязанности:
- Разработка и поддержка аналитического хранилища данных (ADW/DWH)
- Построение и доработка витрин данных
- Разработка и интеграция потоков данных (ETL pipelines) из различных источников
- Обслуживание и поддержка существующих потоков (pipelines)
- Контроль качества данных, создание инструментов мониторинга ETL-процессов и контроля качества данных в них
- Интеграция новых источники данных
- Оптимизация работы хранилища: производительность, эффективное хранение данных, скорость работы потоков.
Условия:
- Конкурентоспособная заработная плата;
- Оформление по бессрочному трудовому договору с первого дня работы;
- Перспектива профессионального и карьерного развития;
- Возможность работать удаленно.