Администратор Hadoop
Зарплата
Требования
Местоположение и тип занятости
Компания
Описание вакансии
Условия работы
Мы находимся в процессе создания Единой платформы данных транспортного комплекса Москвы. Данные забираем от более чем 40 источников, среди которых есть и пакетная и близкая к реальному времени передача данных. Этот продукт выступает базой для всех информационно-аналитических продуктов нашей организации. В их числе - оказание поддержки в принятии управленческих решений Правительству Москвы на основе Big Data и другие продукты, направленные на улучшение транспортной инфраструктуры и города в целом.
ЧТО ЕСТЬ: Мы собираем множество больших транспортных данных, и все это делаем на стеке технологий: Hadoop, Hive, Spark, Kafka, Airflow, Vertica, DB2, Tableau, Campaign, ElasticSearch, Kibana, Kubernetes
С КЕМ РАБОТАТЬ: Команда платформы данных состоящая из инженеров и аналитиков данных.
Для поддержки работоспособности и дальнейшего развития нашей платформы данных нам необходим администратор, который своими компетенциями полностью закрыл бы все задачи, связанные с указанным выше стеком:
- Администрирование и мониторинг промышленного кластера Hadoop (всех компонент: hdfs, yarn, hive, tez, spark);
- Администрирование и мониторинг систем, отвечающих за транспорт данных (kafka, airflow);
- Администрирование ОС Linux;
- Создание образов, деплой приложений в Docker;
- Общение с технической поддержкой вендоров по инцидентам;
- Архитектурный консалтинг в части построения и оптимизации высоконагруженных отказоустойчивых систем для анализа данными.
МЫ БЫ ХОТЕЛИ, ЧТОБЫ НАШ КАНДИДАТ ИМЕЛ:
- Опыт работы со стеком технологий Hadoop не менее 2х лет;
- Опыт администрирования ОС Linux;
- Опыт работы с Docker;
- Опыт работы с системами оркестрации Docker контейнеров приветствуется;
- Понимание принципов работы сетей;
- Понимание принципов работы систем управление конфигурациями;
- Опыт администрирования реляционных баз данных;
- Опыт работы в крупных проектах и умение решать архитектурные вопросы будет большим плюсом;
- Законченное высшее образование.
Бонусы
Гибкое начало рабочего дня;
Стабильность госкомпании при технологиях и атмосфере IT команды;
Бесплатный проезд в метро;
Отпуск 42 дня!
Уютный офис в центре Москвы (после окончания режима удаленной работы);