Middle Data Engineer (EDP)

S7 TechLab – IT компания, реализующая инновационные IT продукты для подразделений группы компаний S7. NLP чат-боты для поддержки пользователей, компьютерное зрение для бортов самолетов, прогнозирование загрузки самолета – это лишь некоторые примеры типовых задач, которые реализуются силами команды S7 TechLab и помогают авиакомпании занимать лидирующее место на рынке авиаперевозок России.

Мы приглашаем в нашу команду Data engineer уровня middle на продукты Data Platform и Domain Datawarehouses.

Проект платформы данных представляет собой аналитическую платформу уровня предприятия, основанную на решениях с открытым исходным кодом и ориентированную на самообслуживание. Платформа состоит из различных компонентов, включая Airflow, Spark, Kafka, Prometeus, Grafana, Great Expectation, Datahub, Trino и другие. Задачи включают разработку и поддержку этих компонентов, их интеграцию с другими сервисами и создание дополнительных сервисов self-service для обработки данных.

Проект DDW (Domain Data WareHouse), объединяет под собой 3 хранилища:

• ADW – данные по самолетам и их обслуживанию
• FDW – данные по расписанию
• SDW – данные по сотрудникам всей АК

Основная задача проекта – стать единым исчерпывающим источником подготовленных доменных данных для потребителей. Данные должны быть качественными и отдаваться с учетом SLA.

Задачи:

• Разработка и поддержка ETL/ELT процессов для интеграции, очистки и преобразования данных и работа с API.
• Создание и поддержка хранилищ данных, витрин данных и моделей данных.
• Развертывание и настройка инструментов и фреймворков для обработки и анализа данных.
• Работа с различными источниками данных, включая структурированные, полуструктурированные и неструктурированные данные.
• Взаимодействие с командой разработки, специалистами по обработке данных, инженерами облачной инфраструктуры, специалистами ИБ.
• Участие в разработке и поддержке скриптов автоматизации для CI/CD и управлении конфигурациями и инфраструктурой.
• Мониторинг и оптимизация производительности ETL/ELT процессов.
• Документирование процессов и процедур работы с данными.

• Знание основных принципов и инструментов ETL/ELT.
• Опыт работы с SQL и NoSQL базами данных.
• Практические навыки работы с инструментами обработки и анализа данных, такими как Apache Spark, Apache Kafka, Hadoop, Hive, Trino, Airflow, DBT, Great Expectations etc.
• Хорошее представление о принципах и инструментах BigData.
• Уверенное владение одним из языков программирования Python, Scala, Java
• Навыки работы с системами контроля версий Git/SVN
• Опыт работы с облачными платформами AWS/Azure/GCP, либо аналогичными open source решениями.
• Понимание принципов контейнеризации Docker и оркестрации Kubernetes.
• Умение работать в команде, хорошие коммуникативные навыки.
• Желание развиваться и изучать новые технологии и концепции в области обработки данных и управления данными, в частности Data Mesh.

• ДМС со стоматологией;
• Корпоративную жизнь, насыщенную разнообразными коллективными событиями;
• Подарки для детей к первому классу и на Новый год;
• Профессиональное развитие: проходить обучение в компаниях-партнерах, участие и выступление в конференциях;
• Самостоятельность и широкий диапазон влияния на продукт. Возможность существенно улучшать и изменять, предлагать идеи — всё это можно и нужно.
• Возможность путешествовать по специальным корпоративным тарифам для вас и вашей семьи;
• Корпоративные скидки в PrimeZone: скидки в рестораны, на обучающие курсы, товары и тд.;
• Команда распределенная, удаленка на территории РФ либо у нас есть 3 уютных офиса: г. Москва Петровка 7, г. Краснодар или г. Иннополис :)
• ИТ аккредитованная компания;
• Полное соблюдение Законодательства Российской Федерации.