Data Engineer middle/senior

S7 TechLab – IT компания, реализующая инновационные IT продукты для подразделений группы компаний S7. NLP чат-боты для поддержки пользователей, компьютерное зрение для бортов самолетов, прогнозирование загрузки самолета – это лишь некоторые примеры типовых задач, которые реализуются силами команды S7 TechLab и помогают авиакомпании занимать лидирующее место на рынке авиаперевозок России.

В команду платформы данных S7 ищем Data Engineer уровня middle+ и выше.

Цель команды платформы данных – дать пользователям инструменты для работы с данными. Команда развивает data lake, sql query engine, data catalog, streaming data bus, что помогает пользователям искать, использовать и передавать данные внутри компании.

Как инженер данных, вы будете разрабатывать компоненты платформы на базе инструментов с открытым исходным кодом, включая разработку и поддержку пайплайнов загрузки данных, сервисов взаимодействия с каталогом данных, кластером Kafka, СУБД и внутренними системами компании.

✈️Задачи:

• Развитие сервисов вокруг платформы: datalake на s3 compatible storage, Spark в Kubernetes, шина данных на Kafka, метаданные в Alation, виртуализация данных в Dremio
• Разработка собственных API и интеграция с API внешних систем;
• Разработка НЕсильно замороченных пайплайнов загрузки данных

Пожелания к кандидату:

• Python;
• Пайплайны и стримы со Spark, Kafka, Kafka Connect, Airflow
• Понимание, как работает parquet, avro
• Понимание, зачем нужен DQ
• Знание базовых различий СУБД (Oracle, Postgres, Vertica, Clickhouse).

Плюсом будет:

• Опыт работы с Scala

Если вы кроме дата инженерных задач не чужды DevOps и развитию open source, продукт поможет развиться в этой области.

Что мы предлагаем:

• Приветственный мерч новичкам;
• ДМС;
• Корпоративную жизнь, насыщенную разнообразными коллективными событиями;
• Подарки для детей к первому классу и на Новый год;
• Профессиональное развитие: проходить обучение в компаниях-партнерах, участие и выступление в конференциях. И да! У нас есть партнёр, который готовит к выступлениям (поможет определиться с тематикой, посылом, составить доклад и подготовит к выступлению);
• Онлайн трансляции в режиме вопрос-ответ с приглашенными интересными гостями, например Алексей Водовозов, главы ИТ-подразделений Nvidia, Dodo pizza, ученые.
• У нас в компании Agile практика. Если интересно данное направление вместе с нашим экспертом готовы помочь нарастить эти скиллы;
• Возможность путешествовать по специальным корпоративным тарифам для вас и вашей семьи. Например, туда-обратно: Сочи - 3 200 рублей.
• Корпоративные скидки в PrimeZone: скидки в рестораны, на обучающие курсы, товары и тд.;
• Самостоятельность и широкий диапазон влияния на продукт. Возможность существенно улучшать и изменять, предлагать идеи — всё это можно и нужно;
• Команда распределенная, работаем удаленно, либо у нас есть 2 уютных офиса: г. Москва Петровка 7 или г. Иннополис :)
• Полное соблюдение Законодательства Российской Федерации.