Data Engineer в платформу RecSys (Big Data)
Требования
Местоположение и тип занятости
Компания
Крупнейшая телекоммуникационная и ведущая ИТ-компания
Описание вакансии
О компании и команде
Big Data – один из ключевых юнитов МТС.
Сегодня Big Data – это: 20 петабайт данных, 5 000 метрик на профиль и 400 увлеченных профессионалов в команде.
Мы ищем Data Engineer, с которыми мы будем вместе развивать платформу рекомендаций в МТС. Мы уже поставляем рекомендаций в онлайн-кинотеатр КИОН, в читалку «Строки», в МТС Банк, сервисы по продаже билетов и интернет-магазины. Сейчас решаем задачи объединения рекомендаций из разных продуктов в единую платформу и масштабирования на все сервисы компании.
Ожидания от кандидата
Что нужно делать
- Вместе с ML-инженерами проектировать и создавать витрины для унификации пайплайнов обработки данных для рекомендательных систем в разных продуктах
- Вместе с аналитиками реализовывать пайплайны обработки данных для расчёта бизнес-метрик и подсчёта итогов АВ-тестирования
- Поддерживать и модифицировать текущие ETL-процессы
- Реализовывать пайплайны near-realtime обработки данных
- Настраивать DQ мониторинг и алертинг
Условия работы
- График работы: плавающее начало рабочего дня, гибридный график (или возможность работать из дома)
- ДМС, куда включены: стоматология, страхование жизни и страховка при поездках за рубеж
- Десятки курсов и тренингов в Корпоративном университете МТС и Собственная виртуальная библиотека
- Корпоративный психолог и карьерный коуч
- Спорт: компенсация фитнес-абонемента, бассейна, скидка в «Alex fitness», «Spirit fitness», «World class» и др
- Бесплатная сотовая связь, выгодные тарифы для ваших близких, промокод на онлайн-кинотеатр KION и бесплатная подписка на МТС Premium
- Программа «Invite IT» (реферальная программа поощрения за рекомендацию ИТ-специалиста)
Дополнительные инструкции
Кого мы ищем
- Опыт разработки ETL/ELT-процессов
- Умение работать с докерами и шедулерами (airflow или любой другой)
- Отличное знание SQL и Python
- Опыт разработки процессов обработки сложных событий (CEP) во времени, приближенном к реальному, на Kafka Streams, Spark, Flink (б удет плюсом)
- Опыт работы со стеком технологий Hadoop, Spark, Hive (б удет плюсом)
- Опыт проектирования хранилищ данных и понимание устройства современных реляционных баз данных (будет плюсом)