Архитектор DWH (Big Data)

Big Data в МТС место, где телеком данные превращаются в реально работающие IT-продукты. Мы создали и протестировали несколько десятков сервисов. Самые успешные из них уже стали частью экосистемы МТС. Например, МТС Маркетолог, рекомендации в KION (МТС ТВ), услуга “Кто звонит?” или Спам blacklist.

Кого мы ищем?

Обязательно:

• Опыт работы с базами данных в качестве аналитика/разработчика;
• Опыт участия в проектах по созданию и развитию DWH/Data Lake;
• Опыт проектирования интеграционных решений через API, очереди сообщений;
• Понимание сильных и слабых сторон шаблонов проектирования интеграционных решений;
• Английский на уровне чтения технической документации;
• Хорошие знания SQL;

Желательно:

• Опыт работы с Hive, Spark и стеком Hadoop;
• Опыт программирования на Python, Scala, Java или любом другом языке программирования от 3 лет;

Что предстоит делать?

• Разрабатывать архитектуру интеграционных решений по данным на ландшафте МТС с использованием Data Lake и платформ потоковой обработки данных Big Data (Hadoop, Spark, Kafka);
• Проектировать интеграционный и презентационный слои (для batch + streaming);
• Анализировать и проектировать интеграционные процессы с информационными системами ландшафта ГК МТС;
• Участвовать во встречах по развитию Data Lake, платформ потоковой обработки данных. Формулировать функциональные и нефункциональные требования к ним а так же к источникам данных;

Что вы найдете в команде Big Data?

Стек технологий:

• данные храним в Hadoop, обрабатываем на Spark (Pyspark, Scala) и SQL
• разрабатываем на python3: R&D делаем в Jupyter, продуктивизируем в PyCharm
• обучаем модели на отдельных мощных машинах с видеокартами Tesla V100
• используем собственные разработки для скоринга больших данных и MLFlow для экспериментов
• храним код в gitlab, регулярные процессы запускаем через Airflow
• управляем задачами через Jira и Confluence

Условия: каждый месяц - аванс и зарплата, дважды в год - премия. ДМС + стоматология, корпоративная связь, специальные предложения от партнеров и друзей МТС, отпуск 31 день в год. Выдаем 16” MacBook Pro или Dell на выбор.

Есть ли обучение?

• Локальные и международные конференции, митапы.
• Корпоративный университет МТС и масштабная виртуальная библиотека.
• А ещё мы регулярно обмениваемся опытом на совместных синках с лидами экспертизы

Какой график? Гибкое начало рабочего дня в промежутке с 8 до 11. Есть возможность работать несколько дней вне офиса по договоренности с командой.

Сколько этапов при отборе? Не более трех:

1. HR + первое тех. интервью с лидом направления
2. Тестовое задание/второе интервью - по необходимости
3. Собеседование с PO и командой, выбор кандидатом проекта