Инженер HADOOP

Решение задач по развитию «Узла данных», подсистема HADOOP, включая разработку необходимых компонент/продуктов собственными силами.

ЧЕМ ВАМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:

• Развитие платформы данных на базе Hadoop и компонент стэка CDH.
• Управлять/создавать процессами установки/обновления HADOOP продуктов в средах (dev, test, prod).
• Разработка framework'ов обработки и управления жизненным циклом данных.
• Повышение устойчивости платформы за счёт автоматизации задач администрирования, развития мониторинга и практик SRE, оптимизация платформы.
• Управление ценностью в платформе, как продуктом.
• Проработка архитектуры собственных решений.
• Построение стратегии развития, продвижение собственных идей по развитию.

ЭТА ВАКАНСИЯ ДЛЯ ВАС, ЕСЛИ ВЫ:

• Имеете опыт работы в качестве инженера службы технической поддержки (или непосредственно в штате компании, или в ИТ компании - аутсорсере) или разработчик/администратор УД – предпочтительно.
• Опыт работы DevOps HADOOP или разработчиком (опционально) УД от 2 лет.
• Опыт поддержки HADOOP от 12 data хостов и выше.
• Разворачивание и администрирование инфраструктурных высоконагруженных компонент УД : кластера CDH (HDFS, Impala, Kudu, Spark, HBASE), Kafka, Jupyter Notebook.
• Настройка и внедрение процессов мониторинга состояния инфраструктурных компонент, а также системы автоматического обновления ОС и системных компонент, автоматизация стандартных задач DevOps для обслуживания распределенного кластера и устранения неполадок.
• Умение работы с Enterprise версией CDH (Kerberos, ролевая модель, SSL) всех компонент.
• Расследование инцидентов от команды разработки и Data Science, связанных с производительностью или работоспособностью инфраструктурных компонент УД.
• Проведение исследований и RND по оптимизации инфраструктурных компонент, тестирование новых технологий и решений.
• Планирование и подготовка требований по оптимизации и обновлению HW.
• Участие в оптимизации процессов сбора, первичная обработка и хранение большого объема данных из различных типов источников.
• Интеграция инфраструктурных компонент c сторонними системами.
• Участие в разработке системы мониторинга и отчетности.
• Поддержка, оптимизация моделей хранения данных.
• Практический опыт работы с ОС СentOS, RedHat – предпочтительно.
• Практический опыт настройки систем резервного копирования подсистем ОД.
• Знание интерфейсов, методов управления разработкой и конфигурациями.
• Опыт заведение Service Request у разработчика или производителя продуктов.
• Ведение переписки по обработке SR с на английском языке.
• Знания bash, sql & vsql (java, scala, python как +).
• Разработка CI/CD процессов.

ЧТО МЫ ПРЕДЛАГАЕМ:

• Заработная плата по результатам собеседования, премии за эффективную работу и результат.
• Хороший социальный пакет — ДМС и разнообразные льготы. Действуют скидки от партнеров, в том числе в части кредитования, есть возможность льготного страхования родственников.
• Планирование карьеры — сотрудники компании имеют возможность профессионального и карьерного развития. В компании приветствуется кросс -функциональные перемещения и ротация между регионами присутствия.