Вакансия в архиве, на неё нельзя откликнуться.

Архитектор (Big data)

Требуемые навыки

Разработка ПОСредний (Middle) · Java

Местоположение и тип занятости

Санкт-Петербург · Полный рабочий день

Компания

Крупнейшая цифровая экосистема. Технобренд, объединяющий лучшие мировые практики и самый современный стек

Описание вакансии

Требуется архитектор/программист для реализации процессов ETL и витрин данных на платформе Hadoop, который сможет совмещать написание кода на Java с проработкой архитектурных вопросов(50/50).

Мы формируем множество витрин из различных внутренних источников, с разными процессами обновления. Есть витрины с историей, в которой часть данных нужно обновить, а старые данные положить в историческую часть.

Реализуем новые витрины и дорабатываем уже разработанные.
Активно работаем над ускорением построения витрин, пробуем новые алгоритмы обновления, партиционирования и переписывает логику самих витрин.

Т.к. витрин много, то мы генерируем потоки под них и устанавливаем их автоматически на пром(реализован Continuous delivery).

Обязанности:

  • Разработка новых алгоритмов обновления данных и доработка имеющихся
  • Проведение review кода на соответствие архитектуре
  • Взаимодействие с другими командами по вопросам интеграции
  • Взаимодействие с инфраструктурными командами по вопросам общих сервисов
  • Написание кода

Требования:

  • Уверенное знание Java
  • Знание SQL на хорошем уровне
  • Понимание принципов распределённых вычислений(MapReduce)
  • Умение описать свои идеи и донести их до коллег
  • Английский язык на уровне чтения технической документации
  • Желание развиваться в области BigData, Spark
  • Коммуникабельность, исполнительность и инициативность
  • Опыт ведения архитектуры

Приветствуется:

  • Практический опыт в области разработки и проектирования витрин, написания сложных SQL запросов
  • Опыт реализации запросов на больших данных(у нас часто используются таблицы 500Гб)
  • Опыт работы с Hadoop
  • Опыт работы с Spark, Hive
  • Знания JIRA, Bitbucket/Git, Confluence
  • Опыт работы в команде по методологии Agile

Опыт работы:

  • От 1-2 лет опыта работы

Условия:

  • Интересные и масштабные задачи, работа в команде профессионалов;
  • Возможность обучения и сертификации за счет компании;
  • Крупные и уникальные проекты в развивающейся компании;
  • Официальное оформление по ТК РФ;
  • Рыночный фикс и годовая премия (обсуждается с успешным кандидатом);
  • Социальный пакет + ДМС;
  • Отсутствие строгого дресс-кода;
  • Корпоративная программа лояльности (льготное кредитование, скидки в компаниях-партнерах).

Ваш отклик

Вакансия в архиве
Вакансия в архиве, на неё нельзя откликнуться.