Администратор Hadoop

Мы находимся в процессе создания Единой платформы данных транспортного комплекса Москвы. Данные забираем от более чем 40 источников, среди которых есть и пакетная и близкая к реальному времени передача данных. Этот продукт выступает базой для всех информационно-аналитических продуктов нашей организации. В их числе - оказание поддержки в принятии управленческих решений Правительству Москвы на основе Big Data и другие продукты, направленные на улучшение транспортной инфраструктуры и города в целом.

ЧТО ЕСТЬ: Мы собираем множество больших транспортных данных, и все это делаем на стеке технологий: Hadoop, Hive, Spark, Kafka, Airflow, Vertica, DB2, Tableau, Campaign, ElasticSearch, Kibana, Kubernetes

С КЕМ РАБОТАТЬ: Команда платформы данных состоящая из инженеров и аналитиков данных.

Для поддержки работоспособности и дальнейшего развития нашей платформы данных нам необходим администратор, который своими компетенциями полностью закрыл бы все задачи, связанные с указанным выше стеком:

• Администрирование и мониторинг промышленного кластера Hadoop (всех компонент: hdfs, yarn, hive, tez, spark);
• Администрирование и мониторинг систем, отвечающих за транспорт данных (kafka, airflow);
• Администрирование ОС Linux;
• Создание образов, деплой приложений в Docker;
• Общение с технической поддержкой вендоров по инцидентам;
• Архитектурный консалтинг в части построения и оптимизации высоконагруженных отказоустойчивых систем для анализа данными.

МЫ БЫ ХОТЕЛИ, ЧТОБЫ НАШ КАНДИДАТ ИМЕЛ:

• Опыт работы со стеком технологий Hadoop не менее 2х лет;
• Опыт администрирования ОС Linux;
• Опыт работы с Docker;
• Опыт работы с системами оркестрации Docker контейнеров приветствуется;
• Понимание принципов работы сетей;
• Понимание принципов работы систем управление конфигурациями;
• Опыт администрирования реляционных баз данных;
• Опыт работы в крупных проектах и умение решать архитектурные вопросы будет большим плюсом;
• Законченное высшее образование.

Интересная работа в масштабных проектах, возможность реализовать свои идеи, помощь и поддержку;
Гибкое начало рабочего дня;
Стабильность госкомпании при технологиях и атмосфере IT команды;
Бесплатный проезд в метро;

Отпуск 42 дня! 

Уютный офис в центре Москвы (после окончания режима удаленной работы);