Инженер HADOOP

Чем вам предстоит заниматься:

• Решение задач по развитию «Узла данных», подсистема HADOOP, включая разработку необходимых компонент/продуктов собственными силами.
• Развитие платформы данных на базе Hadoop и компонент стэка ArenaData.
• Управлять/создавать процессами установки/обновления HADOOP продуктов в средах (dev, test, prod)ю
• Разработка framework'ов обработки и управления жизненным циклом данных.
• Повышение устойчивости платформы за счёт автоматизации задач администрирования, развития мониторинга и практик SRE, оптимизация платформы.
• Управление ценностью в платформе, как продуктом.
• Решение задач по повышению отказоустойчивости, определение SLI/SLO, развитие культуры разбора инцидентов.
• Помощь в выборе архитектуры дата-решений на платформе в обозначенных выше целях.
• Проработка архитектуры собственных решений.
• Построение стратегии развития, продвижение собственных идей по развитию.
• Развитие УД (HADOOP) и компонент, которые входят в CDH.
• Решение задач по обеспечению отказоустойчивости, непрерывной работы УД (HADOOP).
• Ведение инцидентов по УД (HADOOP) и их решение.
• Оптимизация работы УД (HADOOP).
• Участие в разработке продуктов с использованием инструментов УД (HADOOP).

Эта вакансия для вас, если:

• Опыт работы DevOps HADOOP или разработчиком (опционально) УД от 2 лет.
• Опыт поддержки HADOOP от 12 data хостов и выше.
• Разворачивание и администрирование инфраструктурных высоконагруженных компонент УД : кластера CDH (HDFS, Impala, Kudu, Spark, HBASE), Kafka, Jupyter Notebook.
• Настройка и внедрение процессов мониторинга состояния инфраструктурных компонент, а также системы автоматического обновления ОС и системных компонент, автоматизация стандартных задач DevOps для обслуживания распределенного кластера и устранения неполадок.
• Умение работы с Enterprise версией CDH (Kerberos, ролевая модель, SSL) всех компонент.
• Расследование инцидентов от команды разработки и Data Science, связанных с производительностью или работоспособностью инфраструктурных компонент УД.
• Проведение исследований и RND по оптимизации инфраструктурных компонент, тестирование новых технологий и решений.
• Планирование и подготовка требований по оптимизации и обновлению HW.
• Участие в оптимизации процессов сбора, первичная обработка и хранение большого объема данных из различных типов источников.
• Практический опыт работы с ОС СentOS, RedHat – предпочтительно.
• Ведение переписки по обработке SR с на английском языке (желательно).
• Знания bash, sql & vsql (java, scala, python как +).
• Разработка CI/CD процессов.

Что мы предлагаем:

• Заработная плата по результатам собеседования, премии за эффективную работу и результат.
• Действительно нестандартные задачи, которые требуют креатива и новых подходов, мы работаем в реальном секторе, наши пользователи - реальные люди.
• Современный стек и гибкие методологии разработки, работа в команде высококлассных профессионалов из разных технологических областей.
• Возможность обучения и участия в жизни IT-сообщества: большой выбор курсов в нашем корпоративном университете, посещение митапов, конференций.
• Корпоративные льготы: ДМС, льготное страхование родственников, большой выбор внутренних спортивных секций, скидки на абонементы сети World Class.

Если заинтересовала вакансия, можно связаться с нами:
e-mail: veschevaia@sibur.ru