Разработчик ETL

Приглашаем в команду инженеров данных (Банк ТОП-3 в РФ).
Возможность участвовать в разработке/развитии проекта как на базе современных Open Source решений, так и на базе "фундаментальных" Enterprise продуктов, лидирующих в "квадрате" Gartner.
Команде предстоит большой блок работ по строительству новой платформы данных на базе GreenPlum, HDFS/S3, ClickHouse, Tarantool, с запуском ELT фреймворка на стэке Airflow, Nifi, DBT, Spark, Kafka, Python, SQL. Плюс гейт в компоненты и практики Data Governance, Data Quality, DataOps (CI/CD).

Чем предстоит заниматься
• Разработка/Внедрение ELT фреймворка (автоматизация процессов трансформации данных между HDFS/S3, GreenPlum, ClickHouse, Tarantool). Развитие функциональности, оптимизация (необходима высокая скорость обработки большого обьема данных);
• Интеграция ELT с фреймворками контроля качества, каталогом метаданных. (datastore, featurestore и datalinage);
• Настройка мониторинга. Разработка компонент анализа производительности и мониторинга ELT;
• Участие в выборе технологий, компонентов, архитектуры решений;
• Создание ETL процессов в рамках созданного framework;
• Review работ коллег, внешних подрядчиков;
• Пилотирование выбора фреймворка, модулей интеграционного взаимодействия.

Требования к опыту и навыкам
• Опыт работы с промышленным ETL/ELT решением, опыт работы/создания ETL/ELT фреймворка;
• Опыт оптимизации и настройки производительности ETL/ELT компонент;
• Опыт разработки Apache Airflow, Apache Nifi, Apache Spark (PySpark Framework);
• Опыт ООП разработки на Python;
• Опыт работы, понимание особенностей современных СУБД;
• Опыт разработки, оптимизации SQL-процедур и запросов.

Желательно
• Понимание особенностей работы с MPP решениями GreenPlum, ClickHouse, Hadoop (Hive/Impala;
• Опыт интеграции ETL/ELT фреймворка с datastore, featurestore и datalinage компонентами;
• Опыт автоматизации командной разработки: CI/CD, git, Jira, автотесты;
• Опыт работы с DBT.

Что мы предлагаем:

• Оформление по ТК РФ, оплачиваемые больничные листы;

• Работа в комфортных современных офисах в локациях нашего присутствия или в частично/полностью удаленном формате;

• Спортивные и корпоративные мероприятия;

• Программа обучения и сертификация, доступ к электронной библиотеке;

• Внутренние профессиональные сообщества и митапы для обмена опытом;

• Добровольное медицинское страхование (в том числе полис ВЗР, возможность страхования жизни и др.).