Ведущий Data Engineer (ETL)

Мы работаем над развитием передовых способов платежей и предлагаем пассажирам городского транспорта в регионах максимально широкий выбор вариантов оплаты проезда.

К единой билетной системе подключены как муниципальные, так и коммерческие перевозчики, а сервисы системы надежно защищают данные карт пользователей. Мы стали единственным подобным проектом в сфере транспорта.

К концу 2022 года мы внедрили инновационную билетную систему в 25 российских регионах!

Задачи на испытательный период:

• Погрузиться в предметную область и понять, как и зачем работает ETL в компании;
• Провести аудит текущей архитектуры ETL;
• Спроектировать, защитить, реализовать полный цикл ETL-процессов на примере одного региона;
• Получить результат в виде полностью собранной отчетности за месяц со 100% достоверными данными на одном регионе;
• Спланировать и защитить дорожную карту по расширении решения на все остальные регионы.

Мы ожидаем:

• Уверенное знание SQL
• Наличие опыта разработки на Python
• Агрегации, джойны, функции, вложенные запросы, индексы, оптимизации запросов и т.д. Git + linux обязательно
• Знание инструментов ETL
• Уверенное знание Airflow, Mysql, Postgres, Docker
• Понимание алгоритмов и опыт оптимизации кода
• Большим плюсом будет опыт работы с Nifi, GreenPlum, Kafka, Clickhouse, Metabase

Перед тобой будут стоять задачи:

• Формирование единой стратегии по управлению данными
• Создание и защита архитектуры выгрузки данных
• Анализ и реализация требований к витринам данных
• Регламентирование ETL-процессов формирования отчетности
• Разработка и оптимизация ETL пайплайнов
• Оптимизация вычислений и работа с узкими местами платформы
• Оркестрация ETL процессов в Airflow
• Оценка пригодности, качества исходных данных
• Интеграция систем обмена данным с различными источниками

Твои преимущества с нами:

• Наша компания включена в реестр аккредитованных организаций, осуществляющих деятельность в области информационных технологий;
• С нами у вас будет уверенность в завтрашнем дне, благодаря сильным и надежным партнерам - Сбербанку и Правительству Москвы и МО;
• У нас официальное оформление с первого дня выхода на работу в соответствии с ТК;
• У нас нет бюрократии - гибкое начало и завершение рабочего дня, предлагаем как офис так и гибридный формат работы на выбор на территории РФ;
• Так как мы, динамичный и быстроразвивающийся проект который вошел с успехом в многие регионы нашей необъятной Родины, у тебя будет возможность сделать вместе с нами лучший продукт, и достигнуть карьерных высот по профессии.