Data Engineer (Big data)

Зарплата

От 200 000 до 230 000 ₽

Требуемые навыки

АналитикаСредний (Middle) · Python · SQL · Spark · PostgreSQL

Местоположение и тип занятости

Москва · Полный рабочий день

Компания

Крупнейшая телекоммуникационная и ведущая ИТ-компания

Описание вакансии

Big Data в МТС – место, где телеком данные превращаются в реально работающие IT-продукты. Мы создали и протестировали несколько десятков сервисов. Самые успешные из них уже стали частью экосистемы МТС. Например, МТС Маркетолог, рекомендации в KION (МТС ТВ), услуга “Кто звонит?” или Спам blacklist.

Кого мы ищем?

Обязательно:

  • Опыт работы с данными в одной из отраслей: телеком, интернет-компании, банки, страхование, ритейл
  • Понимание моделей данных и принципов устройства хранилищ данных
  • Хорошее знание SQL
  • Знание ETL инструментов
  • Опыт работы с планировщиками задач (oozie, airflow, cron)
  • Опыт работы хотя бы с одной промышленной БД
  • Знание стека Hadoop/Hive/Spark и опыт работы с большими объемами данных
  • Знание одного из языков программирования: Python, Scala
  • Навыки загрузки данных из неструктурированных источников (data exploration, data wrangling, data cleansing)
  • Умение работать в Unix консоли, базовое понимание (как минимум умение читать) shell scripts

Желательно:

  • SQL stored procedures (например, Teradata и/или Oracle и/или Postgress)
  • Навыки scrapping/web crawling (phantom)
  • Опыт создания REST сервисов
  • Знания в области математической статистики и машинного обучения.

Что предстоит делать?

  • Разработка витрин на основании данных о перемещении людей и активности абонентов в сети, создание агрегатов данных, получение добавочной ценности данных
  • Разработка простых аналитических моделей, работа в паре с DS над моделями машинного обучения
  • DQ витрин для текущей модели, поиск ошибок в фичах, установление причин деградации данных
  • Сбор новых витрин из различных источников
  • Feature engineering для новой модели прогнозирования
  • Постановка на регламент собранных витрин
  • Дополнительно: построение новой модели (дерево решений).

Сейчас мы ищем Data engineer в следующие проекты:

  • Геоаналитика, цифровая модель города
  • B2B: Прогнозирование оттока мобильных клиентов МТС
  • B2C: блокировка спам звонков
  • Скоринг контрагентов, система оценки и наблюдения за благосостоянием компании
  • Smart rollout, оптимизация процессов планирования и развития сети

Бонусы

Что вы найдете в команде Big Data?

Стек технологий:

  • данные храним в Hadoop, обрабатываем на Spark (Pyspark, Scala) и SQL
  • храним код в gitlab, регулярные процессы запускаем через Airflow
  • управляем задачами через Jira и Confluence

Команда: в команде Data Engineer сейчас 30 человек (во всей Big Data МТС более 300 человек). Все DE поделены на группы со своими лидами - есть группа рекомендательных систем, скоринга и другие. Каждую неделю мы обмениваемся опытом на совместных синках.

DE работают в продуктах со своей автономной командой, в которой есть все роли: аналитики, DE, DS, разработчики, девопсы, менеджеры продукта.

Условия: каждый месяц - аванс и зарплата, дважды в год - премия. ДМС + стоматология, корпоративная связь, специальные предложения от партнеров и друзей МТС, отпуск 31 день в год. Выдаем 16 MacBook Pro или Dell на выбор.

Есть ли обучение?

  • Локальные и международные конференции, митапы.
  • Корпоративный университет МТС и масштабная виртуальная библиотека.
  • А ещё мы регулярно обмениваемся опытом на совместных синках с лидами экспертизы

Какой график? Гибкое начало рабочего дня в промежутке с 8 до 11. Есть возможность работать несколько дней вне офиса по договоренности с командой.


Дополнительные инструкции

Сколько этапов при отборе? Не более трех:

  1. HR + первое тех. интервью с лидом направления
  2. Тестовое задание/второе интервью - по необходимости
  3. Собеседование с PO и командой, выбор кандидатом проекта

Ваш отклик

Авторизуйтесь
Откликаться на вакансии могут только зарегистрированные пользователи.