Data engineer на продукт Антиспам (Big Data)

Big Data МТС – место, где телеком данные превращаются в реально работающие IT-продукты. Мы создали и протестировали несколько десятков сервисов. Самые успешные из них уже стали частью экосистемы МТС. Например, МТС Маркетолог, рекомендации в KION (МТС ТВ), услуга “Кто звонит?” или Спам blacklist.

Сейчас мы ищем Data Engineer на продукт Антиспам

Антиспам - это база пользователей услуг на основе данных, которая уже превысила 20 млн, блокируется более 120 млн вызовов в месяц. При входящем вызове номера проверяются по справочнику организаций и по спам-базе, которая обновляется в онлайн-режиме с помощью технологий Big Data. Если номер принадлежит спамеру, он не сможет до вас дозвониться

В зависимости от услуги, высветится наименование организации, его категория (при наличии информации), а ненужный звонок блокируется либо направляется на голосового бота или голосовую почту. Абонент затем увидит, какая организация ему звонила, может прослушать оставленное сообщение или прочитать его расшифровку

Цель: Защитить абонентов от назойливых нецелевых звонков спамеров, предоставить информации о звонящем номере и цели звонка

Что нужно делать:

• Разработка и поддержка пайплайнов обработки данных и машинного обучения на Python и Spark с использованием Airflow, MLflow, а также собственных разработок
• Организация потоков данных в рамках микросервисной архитектуры платформы, реализация обработки данных в хранимых процедурах БД
• Интеграция с внешними системами (FTP, API)
• Поддержка разработанных решений и обеспечение качества данных

Требования:

• Понимание моделей данных и принципов устройства хранилищ данных
• Хорошее знание SQL, работа с хранимыми процедурами
• Опыт работы хотя бы с одной промышленной БД
• Знание стека Hadoop/Hive/Spark и опыт работы с большими объемами данных
• Знание Python, написание API
• Знакомство с CI/CD и Docker
• Умение вести проекты в GIT

Условия:

• График работы: плавающее начало рабочего дня, гибридный график (или возможность работать из дома)
• ДМС, куда включены: стоматология, страхование жизни и страховка при поездках за рубеж
• Десятки курсов и тренингов в Корпоративном университете МТС, «Coursera» и собственная виртуальная библиотека
• Корпоративный психолог и карьерный коуч
• Спорт: компенсация фитнес-абонемента, бассейна, скидка в «Alex fitness», «Spirit fitness», «World class» и др.
• Бесплатная сотовая связь, выгодные тарифы для ваших близких, промокод на онлайн-кинотеатр KION и бесплатная подписка на МТС Premium