👀 Бизнес-аналитик, зовем на Публичное собеседование на Хабр Карьере! Для участия нужно → оставить заявку

Spark developer (SberData)

Местоположение и тип занятости

МоскваПолный рабочий деньМожно удаленно

Компания

Крупнейшая цифровая платформа. Технобренд, объединяющий лучшие мировые практики и самый современный стек

Описание вакансии

Условия работы

SberData – департамент по управлению данными всего Сбербанка.

SberData строит централизованное хранилище данных, объем которого уже превышает 10 ПБ. Это продуктово-ориентированная инженерная команда с функциями развития выделенных технологических направлений, отражающих новый подход Сбербанка к данным и к применению AI.

Про проект:

Проект отвечает за разработку системы поддержки производства ЕСС - инструментария реализации тракта загрузки данных в ЕСС.

ЕСС (Единый Семантический Слой) - это хранилище данных предметных областей Банка, интегрированные в единую модель, имеющие сквозную идентификацию объектов и размеченные единой нормативно-справочной информацией, построенные на основе метаданных.

Чем предстоит заниматься:

  • Разработка/доработка существующего инструментария автоматизации процесса поставки дата продукта на Spark с использованием Java на метаданных
  • Автогенерация преобразований по DSL
  • Разработка профилировщика
  • Оптимизация загрузок
  • Проработка решения загрузки данных NRT
  • Участие в проектировании инструментария

Для этого понадобится:

  • Опыт разработки на Spark (RDD, Dataframe, Spark SQL) с использованием Java от 3-х лет
  • Опыт промышленной разработки на Spark

Преимуществом будет:

  • Опыт разработки инструментов\библиотек на Spark
  • Опыт работы с Spark Streaming

Условия, которые мы предлагаем:

  • Гибкий график для оптимального баланса работы и личной жизни;
  • Профессиональное обучение, семинары, тренинги, конференции, корпоративная библиотека;
  • ДМС с первого дня трудоустройства, страхование жизни;
  • Самые инновационные, амбициозные проекты и задачи;
  • Свободный дресс-код;
  • Льготные кредиты и корпоративные скидки;
  • Конкурентная компенсация (оклад + годовая премия по результатам деятельности)
  • Офис БЦ "Чайка Плаза" - м. Нагатинская/Тульская/Верхние Котлы/Коломенская.