Вакансия в архиве, на неё нельзя откликнуться.

Инженер HADOOP

Требуемые навыки

Администрирование · Apache Hadoop · Scala

Местоположение и тип занятости

Можно удаленно

Компания

Крупнейшая в России интегрированная газоперерабатывающая и нефтехимическая компания

Описание вакансии

Решение задач по развитию «Узла данных», подсистема HADOOP, включая разработку необходимых компонент/продуктов собственными силами.

ЧЕМ ВАМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:

  • Развитие платформы данных на базе Hadoop и компонент стэка CDH.
  • Управлять/создавать процессами установки/обновления HADOOP продуктов в средах (dev, test, prod).
  • Разработка framework'ов обработки и управления жизненным циклом данных.
  • Повышение устойчивости платформы за счёт автоматизации задач администрирования, развития мониторинга и практик SRE, оптимизация платформы.
  • Управление ценностью в платформе, как продуктом.
  • Проработка архитектуры собственных решений.
  • Построение стратегии развития, продвижение собственных идей по развитию.

ЭТА ВАКАНСИЯ ДЛЯ ВАС, ЕСЛИ ВЫ:

  • Имеете опыт работы в качестве инженера службы технической поддержки (или непосредственно в штате компании, или в ИТ компании - аутсорсере) или разработчик/администратор УД – предпочтительно.
  • Опыт работы DevOps HADOOP или разработчиком (опционально) УД от 2 лет.
  • Опыт поддержки HADOOP от 12 data хостов и выше.
  • Разворачивание и администрирование инфраструктурных высоконагруженных компонент УД : кластера CDH (HDFS, Impala, Kudu, Spark, HBASE), Kafka, Jupyter Notebook.
  • Настройка и внедрение процессов мониторинга состояния инфраструктурных компонент, а также системы автоматического обновления ОС и системных компонент, автоматизация стандартных задач DevOps для обслуживания распределенного кластера и устранения неполадок.
  • Умение работы с Enterprise версией CDH (Kerberos, ролевая модель, SSL) всех компонент.
  • Расследование инцидентов от команды разработки и Data Science, связанных с производительностью или работоспособностью инфраструктурных компонент УД.
  • Проведение исследований и RND по оптимизации инфраструктурных компонент, тестирование новых технологий и решений.
  • Планирование и подготовка требований по оптимизации и обновлению HW.
  • Участие в оптимизации процессов сбора, первичная обработка и хранение большого объема данных из различных типов источников.
  • Интеграция инфраструктурных компонент c сторонними системами.
  • Участие в разработке системы мониторинга и отчетности.
  • Поддержка, оптимизация моделей хранения данных.
  • Практический опыт работы с ОС СentOS, RedHat – предпочтительно.
  • Практический опыт настройки систем резервного копирования подсистем ОД.
  • Знание интерфейсов, методов управления разработкой и конфигурациями.
  • Опыт заведение Service Request у разработчика или производителя продуктов.
  • Ведение переписки по обработке SR с на английском языке.
  • Знания bash, sql & vsql (java, scala, python как +).
  • Разработка CI/CD процессов.

Бонусы

ЧТО МЫ ПРЕДЛАГАЕМ:

  • Заработная плата по результатам собеседования, премии за эффективную работу и результат.
  • Хороший социальный пакет — ДМС и разнообразные льготы. Действуют скидки от партнеров, в том числе в части кредитования, есть возможность льготного страхования родственников.
  • Планирование карьеры — сотрудники компании имеют возможность профессионального и карьерного развития. В компании приветствуется кросс -функциональные перемещения и ротация между регионами присутствия.

Ваш отклик

Вакансия в архиве
Вакансия в архиве, на неё нельзя откликнуться.