Data Engineer Junior+ (DPr)

S7 TechLab – IT компания, реализующая инновационные IT продукты для подразделений группы компаний S7. 

В продукт Dynamic Pricing ищем Data Engineer уровня junior+.

Наш продукт занимается подбором цен на авиабилеты и дополнительные услуги, транслируя их в каналы продаж через собственное API. Для расчета оптимальных цен нам необходимо регулярно готовить, обрабатывать и следить за качеством большого количества разнообразных данных, как внутренних логов, так и внешних источников.

Продукт работает стабильно и постоянно развивается, поэтому мы ищем дата инженера, который хорошо разбирается в обработке данных, способен настроить мониторинги качества данных, умеет оптимизировать скрипты загрузки и так далее.

• Уверенное знание Python;
• Пайплайны и стримы со Spark, Kafka, Airflow;
• Опыт работы с разнообразными источниками данных (FTP/SFTP, S3, Kafka, API);
• Знание базовых различий СУБД (Oracle, Postgres, Vertica, Redis);
• Понимание, как работает parquet, avro;
• Уверенное знание SQL (умение написать сложный запрос и его оптимизировать);
• Опыт работы с K8S, опыт развертывания приложений в Kubernetes (Желательно - OpenShift);
• Знание Git/GitLab;
• Понимание, зачем нужен DQ и как его настраивать;
• Опыт оптимизации кода по времени и памяти приветствуется.
• Развитие пайплайнов данных в продукте: работа с различными источниками и типами данных (S3, Kafka, Postgres, Redis, parquet);
• Оптимизация пайплайнов;
• Разработка мониторингов на качество данных и их автоматизация;
• Настройка интеграции с новыми источниками данных, работа в команде с поставщиками данных, адаптируя их решения под потребности проекта;
• Участие в проектировании системы и процессов обработки, валидации данных;
• Изучение бизнес-процессов, которые стоят за данными. Исходя из них, необходимо выстраивать логику обработки данных.

Задачи:

• Развитие пайплайнов данных в продукте: работа с различными источниками и типами данных (S3, Kafka, Postgres, Redis, parquet);
• Оптимизация пайплайнов;
• Разработка мониторингов на качество данных и их автоматизация;
• Настройка интеграции с новыми источниками данных, работа в команде с поставщиками данных, адаптируя их решения под потребности проекта;
• Участие в проектировании системы и процессов обработки, валидации данных;
• Изучение бизнес-процессов, которые стоят за данными. Исходя из них, необходимо выстраивать логику обработки данных.

• ДМС со стоматологией;
• Корпоративную жизнь, насыщенную разнообразными коллективными событиями;
• Подарки для детей к первому классу и на Новый год;
• Профессиональное развитие: проходить обучение в компаниях-партнерах, участие и выступление в конференциях;
• Возможность путешествовать по специальным корпоративным тарифам для вас и вашей семьи. Например, туда-обратно: Сочи - 3 200 рублей.
• Корпоративные скидки в PrimeZone: скидки в рестораны, на обучающие курсы, товары и тд.;
• Программа комплексной поддержки «Понимаю» (бесплатные консультации юристов, психологов, нутрициологов, финансистов);
• Локация: г. Москва Петровка 7, гибридный формат работы;
• ИТ аккредитованная компания;
• Полное соблюдение Законодательства Российской Федерации.