Инженер HADOOP
Требования
Местоположение и тип занятости
Компания
Реализуем проекты разработки, развития и сопровождения новых ИТ-решений и платформ в рамках СИБУРа
Описание вакансии
Условия работы
Чем вам предстоит заниматься:
- Решение задач по развитию «Узла данных», подсистема HADOOP, включая разработку необходимых компонент/продуктов собственными силами.
- Развитие платформы данных на базе Hadoop и компонент стэка ArenaData.
- Управлять/создавать процессами установки/обновления HADOOP продуктов в средах (dev, test, prod)ю
- Разработка framework'ов обработки и управления жизненным циклом данных.
- Повышение устойчивости платформы за счёт автоматизации задач администрирования, развития мониторинга и практик SRE, оптимизация платформы.
- Управление ценностью в платформе, как продуктом.
- Решение задач по повышению отказоустойчивости, определение SLI/SLO, развитие культуры разбора инцидентов.
- Помощь в выборе архитектуры дата-решений на платформе в обозначенных выше целях.
- Проработка архитектуры собственных решений.
- Построение стратегии развития, продвижение собственных идей по развитию.
- Развитие УД (HADOOP) и компонент, которые входят в CDH.
- Решение задач по обеспечению отказоустойчивости, непрерывной работы УД (HADOOP).
- Ведение инцидентов по УД (HADOOP) и их решение.
- Оптимизация работы УД (HADOOP).
- Участие в разработке продуктов с использованием инструментов УД (HADOOP).
Эта вакансия для вас, если:
- Опыт работы DevOps HADOOP или разработчиком (опционально) УД от 2 лет.
- Опыт поддержки HADOOP от 12 data хостов и выше.
- Разворачивание и администрирование инфраструктурных высоконагруженных компонент УД : кластера CDH (HDFS, Impala, Kudu, Spark, HBASE), Kafka, Jupyter Notebook.
- Настройка и внедрение процессов мониторинга состояния инфраструктурных компонент, а также системы автоматического обновления ОС и системных компонент, автоматизация стандартных задач DevOps для обслуживания распределенного кластера и устранения неполадок.
- Умение работы с Enterprise версией CDH (Kerberos, ролевая модель, SSL) всех компонент.
- Расследование инцидентов от команды разработки и Data Science, связанных с производительностью или работоспособностью инфраструктурных компонент УД.
- Проведение исследований и RND по оптимизации инфраструктурных компонент, тестирование новых технологий и решений.
- Планирование и подготовка требований по оптимизации и обновлению HW.
- Участие в оптимизации процессов сбора, первичная обработка и хранение большого объема данных из различных типов источников.
- Практический опыт работы с ОС СentOS, RedHat – предпочтительно.
- Ведение переписки по обработке SR с на английском языке (желательно).
- Знания bash, sql & vsql (java, scala, python как +).
- Разработка CI/CD процессов.
Что мы предлагаем:
- Заработная плата по результатам собеседования, премии за эффективную работу и результат.
- Действительно нестандартные задачи, которые требуют креатива и новых подходов, мы работаем в реальном секторе, наши пользователи - реальные люди.
- Современный стек и гибкие методологии разработки, работа в команде высококлассных профессионалов из разных технологических областей.
- Возможность обучения и участия в жизни IT-сообщества: большой выбор курсов в нашем корпоративном университете, посещение митапов, конференций.
- Корпоративные льготы: ДМС, льготное страхование родственников, большой выбор внутренних спортивных секций, скидки на абонементы сети World Class.
Если заинтересовала вакансия, можно связаться с нами:
e-mail: veschevaia@sibur.ru