💰 Зарплаты в IT в первой половине 2024: по городам, специализациям, языкам и компаниям → подробнее

Middle Data Engineer (EDP)

Местоположение и тип занятости

МоскваПолный рабочий деньМожно удаленно

Компания

Российская авиакомпания, выполняющая внутренние и международные пассажирские авиаперевозки

Описание вакансии

О компании и команде

S7 TechLab – IT компания, реализующая инновационные IT продукты для подразделений группы компаний S7. NLP чат-боты для поддержки пользователей, компьютерное зрение для бортов самолетов, прогнозирование загрузки самолета – это лишь некоторые примеры типовых задач, которые реализуются силами команды S7 TechLab и помогают авиакомпании занимать лидирующее место на рынке авиаперевозок России.

Мы приглашаем в нашу команду Data engineer уровня middle на продукты Data Platform и Domain Datawarehouses.

Проект платформы данных представляет собой аналитическую платформу уровня предприятия, основанную на решениях с открытым исходным кодом и ориентированную на самообслуживание. Платформа состоит из различных компонентов, включая Airflow, Spark, Kafka, Prometeus, Grafana, Great Expectation, Datahub, Trino и другие. Задачи включают разработку и поддержку этих компонентов, их интеграцию с другими сервисами и создание дополнительных сервисов self-service для обработки данных.

Проект DDW (Domain Data WareHouse), объединяет под собой 3 хранилища:

  • ADW – данные по самолетам и их обслуживанию
  • FDW – данные по расписанию
  • SDW – данные по сотрудникам всей АК

Основная задача проекта – стать единым исчерпывающим источником подготовленных доменных данных для потребителей. Данные должны быть качественными и отдаваться с учетом SLA.

Задачи:

  • Разработка и поддержка ETL/ELT процессов для интеграции, очистки и преобразования данных и работа с API.
  • Создание и поддержка хранилищ данных, витрин данных и моделей данных.
  • Развертывание и настройка инструментов и фреймворков для обработки и анализа данных.
  • Работа с различными источниками данных, включая структурированные, полуструктурированные и неструктурированные данные.
  • Взаимодействие с командой разработки, специалистами по обработке данных, инженерами облачной инфраструктуры, специалистами ИБ.
  • Участие в разработке и поддержке скриптов автоматизации для CI/CD и управлении конфигурациями и инфраструктурой.
  • Мониторинг и оптимизация производительности ETL/ELT процессов.
  • Документирование процессов и процедур работы с данными.

Ожидания от кандидата

  • Знание основных принципов и инструментов ETL/ELT.
  • Опыт работы с SQL и NoSQL базами данных.
  • Практические навыки работы с инструментами обработки и анализа данных, такими как Apache Spark, Apache Kafka, Hadoop, Hive, Trino, Airflow, DBT, Great Expectations etc.
  • Хорошее представление о принципах и инструментах BigData.
  • Уверенное владение одним из языков программирования Python, Scala, Java
  • Навыки работы с системами контроля версий Git/SVN
  • Опыт работы с облачными платформами AWS/Azure/GCP, либо аналогичными open source решениями.
  • Понимание принципов контейнеризации Docker и оркестрации Kubernetes.
  • Умение работать в команде, хорошие коммуникативные навыки.
  • Желание развиваться и изучать новые технологии и концепции в области обработки данных и управления данными, в частности Data Mesh.

Условия работы

  • ДМС со стоматологией;
  • Корпоративную жизнь, насыщенную разнообразными коллективными событиями;
  • Подарки для детей к первому классу и на Новый год;
  • Профессиональное развитие: проходить обучение в компаниях-партнерах, участие и выступление в конференциях;
  • Самостоятельность и широкий диапазон влияния на продукт. Возможность существенно улучшать и изменять, предлагать идеи — всё это можно и нужно.
  • Возможность путешествовать по специальным корпоративным тарифам для вас и вашей семьи;
  • Корпоративные скидки в PrimeZone: скидки в рестораны, на обучающие курсы, товары и тд.;
  • Команда распределенная, удаленка на территории РФ либо у нас есть 3 уютных офиса: г. Москва Петровка 7, г. Краснодар или г. Иннополис :)
  • ИТ аккредитованная компания;
  • Полное соблюдение Законодательства Российской Федерации.