Инженер направления Big Data

В SberData мы создаем централизованное хранилище данных всего Сбера. Это более 350 источников данных и 100+ Пб информации, заказ и получение данных за 15 минут и современный технологический стек работы с данными, включая собственные сборки СУБД на базе Hadoop и Greenplum.
Наши решения отмечены международной премией Data Award в 2021г, а лидеры, обладающие уникальными знаниями в разработке кода и современном технологическом стеке С, Scala, Java, Python, Hadoop, Teradata, Oralce и др., являются участниками организации-фонда Apache Foundation. Масштаб задач, объемы данных, сложности финансовых процессов — мы все время на передовой современных технологий, а где-то и создаем их. Будем рады видеть в нашей команде системных разработчиков ClickHouse, DevOps-инженеров, системных администраторов, специалистов по разработке Scala/Java, разработчиков Python

Задачи направления:

• организация и выполнение загрузок инкрементов данных из АС-источников
• организация и выполнение архивных перезагрузок данных
• анализ и разрешение инцидентов и проблем в части загрузки данных
• анализ и оптимизация использования ресурсов в части загрузки данных.

Обязанности кандидата:

• сопровождение хранилищ данных на платформе Hadoop
• организация и мониторинг загрузки данных из систем-источников
• планирование и проведение внедрений
• анализ и разбор инцидентов.

Что для нас важно:

• высшее техническое образование
• опыт работы в сопровождении
• базовые знания Linux и работы в консоли
• знание и опыт работы с SQL.

Плюсом будут:

• опыт работы с Hadoop: HDFS, Hive, Spark
• опыт администрирования RHEL
• знание ITIL/ITSM
• знание одного из языков программирования - Java, Bash, Python
• технический английский.

Условия работы:

• стабильный оклад и социальная поддержка сотрудников
• расширенный ДМС с первого дня работы для сотрудников и льготная медицинская страховка для близких
• бесплатная подписка СберПрайм +, скидки на продукты компаний партнеров: СберМаркет, Delivery Club, Самокат, СберЕаптека и других
• корпоративная пенсионная программа
• корпоративное обучение за счет компании
• реферальная программа для сотрудников: можно пригласить в команду знакомых профессионалов и получить денежное вознаграждение.