Data Engineer

Департамент информационных технологий города Москвы — команда профессионалов, чья работа, часто невидимая для невооруженного глаза, с каждым днём делает жизнь москвичей удобнее.

Сейчас команда активно растёт и продолжает набирать темп, поэтому мы в поисках новых талантов!

Что нужно делать:

• Анализ требований, входящих потоков данных
• Разработка модели данных дашборда
• Разработка ETL и data pipeline
• Проектирование и реализация схем загрузки и трансформации данных (ETL), потоков данных (data pipeline)
• Настройка потоков в Apache NiFI, AirFlow
• Написание скриптов трансформации (например, в Python)
• Настройка цепочки SQL-запросов и подготовки витрин данных для BI - агрегация и расчеты аналитических показателей
• Тестирование запросов и витрин данных

Что важно для нас:

• SQL на профессиональном уровне, включая оптимизацию запросов
• Опыт интеграции систем, загрузки и трансформации данных (ETL)
• Опыт работы с качеством данных (очистка данных, процедуры Data Quality)
• Знание принципов работы BI-систем, построения аналитических панелей
• Профессиональный пользователь Excel
• Базовые знания принципов построения системной архитектуры, архитектуры данных, работы с базами данных
• Опыт настройки взаимодействия систем (REST API, ODBC/JDBC)
• Знание английского языка на техническом уровне

Желательные:

• Опыт работы с любым BI - Qlik, Tableau, Power BI
• Опыт с NiFi и/или Airflow/DBT
• Навыки работы с Python
• Опыт работы с инструментами очистки данных (data wrangling) -Trifacta и пр.
• Опыт подготовки и очистки данных с помощью Excel или специализированных инструментов
• Уверенный уровень владения Excel - сводные таблицы, формулы, ВПР
• Навыки написания технической документации

Мы предлагаем:

• Амбициозные проекты
• Значимую роль в молодой команде экспертов, в которой коллеги всегда поддерживают друг друга
• Развивающие задачи и карьерные вызовы, реальные возможности для роста
• Оплачиваемое обучение, мероприятия и бонусы для сотрудников.