Spark разработчик

SberData – департамент по управлению данными всего Сбербанка.

SberData строит централизованное хранилище данных, объем которого уже превышает 10 ПБ. Это продуктово-ориентированная инженерная команда с функциями развития выделенных технологических направлений, отражающих новый подход Сбербанка к данным и к применению AI.

Про проект:

Проект отвечает за разработку системы поддержки производства ЕСС - инструментария реализации тракта загрузки данных в ЕСС.

ЕСС (Единый Семантический Слой) - это хранилище данных предметных областей Банка, интегрированные в единую модель, имеющие сквозную идентификацию объектов и размеченные единой нормативно-справочной информацией, построенные на основе метаданных.

Чем предстоит заниматься:

• Разработка/доработка существующего инструментария автоматизации процесса поставки дата продукта на Spark с использованием Java на метаданных;
• Автогенерация преобразований по DSL;
• Разработка профилировщика;
• Оптимизация загрузок;
• Проработка решения загрузки данных NRT;
• Участие в проектировании инструментария.

Для этого понадобится:

• Опыт разработки на Spark (RDD, Dataframe, Spark SQL) с использованием Java от 3-х лет;
• Опыт промышленной разработки на Spark.

Преимуществом будет:

• Опыт разработки инструментов\библиотек на Spark;
• Опыт работы с Spark Streaming.

Условия, которые мы предлагаем:

• Гибкий график для оптимального баланса работы и личной жизни;
• Профессиональное обучение, семинары, тренинги, конференции, корпоративная библиотека;
• ДМС с первого дня трудоустройства, страхование жизни;
• Самые инновационные, амбициозные проекты и задачи;
• Свободный дресс-код;
• Льготные кредиты и корпоративные скидки;
• Конкурентная компенсация (оклад + годовая премия по результатам деятельности)
• Офис БЦ "Чайка Плаза" - м. Нагатинская/Тульская/Верхние Котлы/Коломенская.