Архитектор пакетной обработки данных (Big Data)

Big Data в МТС трансформирует классическое аналитическое хранилище в data lake ведущей технологической компании. Уже сегодня на аналитике Big Data основывается принятие многих стратегических решений в компании. А в перспективе на ней будет базироваться вся экосистема продуктов МТС.

Что вы найдете в команде Big Data?

Стек технологий: Open source и коммерческие решения в области Big Data.
Продукты: с 2015 года их более 80: от оценки поведения клиентов до бизнеса. Находятся на разных стадиях - R&D, продуктивизации и продуктива.
Подход: Agile, Scrum, для управления продуктами и задачами - Confluence и Jira. Все команды автономные, поэтому минимум бюрократии. Гибко меняем задачи в спринте, если понимаем, что это необходимо.
Команда: нас уже 200, планируем вырасти до 300. Для работы над продуктом собираем команду из разных центров компетенций (их более 14, есть ЦК разработки, ЦК DevOps, ЦК архитектуры и др.)


Что именно вам предстоит делать?
Разрабатывать архитектуру компонентов пакетной обработки загрузки/выгрузки данных в/из Hadoop
Разрабатывать архитектуру оркестрации ETL/ELT процессов
Разрабатывать архитектуру построения data lineage
Разрабатывать архитектуру интеграции с другими компонентами платформы (ETL Framework (Metadata Store), Data Quality Framework и т.д.)
Проектировать процессы CI/CD
Проводить review архитектуры, поддерживать в актуальном состоянии архитектурную документацию
Вырабатывать лучшие практики по использованию компонентов пакетной обработки в ландшафте BigData
Консультировать команды BigData по вариантам реализации их решений с использованием компонентов платформы
Участвовать в пилотировании open source/проприетарных решений

Требования:
Хорошее понимание концептуальных и технологических аспектов BigData и стека Hadoop (HDFS, YARN, Map-Reduce, Spark, Hive)
Хорошее понимание шаблонов пакетной обработки данных (batch ETL/ELT)
Опыт разработки с применением ETL инструментария (Airflow, Informatica BDE, Pentaho DI и др.) от 3 лет
Опыт работы с Hive, Spark от 3 лет
Опыт программирования на Python от 3 лет
Английский язык на уровне pre-intermediate

Плюсом будут:
Опыт проектирования хранилищ данных от 500 Тб
Опыт работы с HDP 3.x
Опыт применения Apache NiFi
Опыт программирования на Scala

Какие задачи? Аналитика Big Data используется практически во всех функциональных направлениях компании – маркетинг, обслуживание, планирование сети, продажи, HR, розница и коммерческие продукты для корпоративных клиентов. Во внешних проектах Big Data МТС востребована в финансовом скоринге, транспортном планировании, логистике, таргетинге наружной и digital-рекламы, электронной коммерции, ритейле, градостроительных проектах. Наши новые сотрудники будут разрабатывать и продвигать новые digital-продукты МТС.