Data Engineer в платформу RecSys (Big Data)

О компании и команде

Big Data – один из ключевых юнитов МТС.

Сегодня Big Data – это: 20 петабайт данных, 5 000 метрик на профиль и 400 увлеченных профессионалов в команде.

Мы ищем Data Engineer, с которыми мы будем вместе развивать платформу рекомендаций в МТС. Мы уже поставляем рекомендаций в онлайн-кинотеатр КИОН, в читалку «Строки», в МТС Банк, сервисы по продаже билетов и интернет-магазины. Сейчас решаем задачи объединения рекомендаций из разных продуктов в единую платформу и масштабирования на все сервисы компании.

Ожидания от кандидата

Что нужно делать

• Вместе с ML-инженерами проектировать и создавать витрины для унификации пайплайнов обработки данных для рекомендательных систем в разных продуктах
• Вместе с аналитиками реализовывать пайплайны обработки данных для расчёта бизнес-метрик и подсчёта итогов АВ-тестирования
• Поддерживать и модифицировать текущие ETL-процессы
• Реализовывать пайплайны near-realtime обработки данных
• Настраивать DQ мониторинг и алертинг

Условия работы

• График работы: плавающее начало рабочего дня, гибридный график (или возможность работать из дома)
• ДМС, куда включены: стоматология, страхование жизни и страховка при поездках за рубеж
• Десятки курсов и тренингов в Корпоративном университете МТС и Собственная виртуальная библиотека
• Корпоративный психолог и карьерный коуч
• Спорт: компенсация фитнес-абонемента, бассейна, скидка в «Alex fitness», «Spirit fitness», «World class» и др
• Бесплатная сотовая связь, выгодные тарифы для ваших близких, промокод на онлайн-кинотеатр KION и бесплатная подписка на МТС Premium
• Программа «Invite IT» (реферальная программа поощрения за рекомендацию ИТ-специалиста)

Дополнительные инструкции

Кого мы ищем

• Опыт разработки ETL/ELT-процессов
• Умение работать с докерами и шедулерами (airflow или любой другой)
• Отличное знание SQL и Python
• Опыт разработки процессов обработки сложных событий (CEP) во времени, приближенном к реальному, на Kafka Streams, Spark, Flink (б удет плюсом)
• Опыт работы со стеком технологий Hadoop, Spark, Hive (б удет плюсом)
• Опыт проектирования хранилищ данных и понимание устройства современных реляционных баз данных (будет плюсом)