Big Data Engineer

Зарплата

от 200 000 ₽

Местоположение и тип занятости

Санкт-ПетербургПолный рабочий день

Компания

Крупнейшая цифровая платформа. Технобренд, объединяющий лучшие мировые практики и самый современный стек

Описание вакансии

Условия работы

К нам в команду требуется опытный разработчик баз данных, мы создаем хранилище данных на базе корпоративной аналитической платформы (КАП), наша цель обеспечить хранение, доступ и получение транзакционных данных продуктов корпоративного бизнеса аналитиками и дата инженерами для разных задач начиная от выполнения анализа, обучения ML моделей и заканчивая искусственным интеллектом.

Функциональные обязанности:

  • Обеспечения сбора и организация процесса загрузки данных в аналитические системы, включая получение структурированных и не структурированных данных из различных источников, подготовку, очистку и предобработку данных из внешних источников, построение агрегатов;
  • Исследование источников данных;
  • Создание алгоритмов загрузки данных в витрины;
  • Написание функций и хранимых процедур для преобразования и агрегации данных;
  • Настройка первичной обработки данных от источников (очистка, обогащение и т.д.);
  • Управление качеством данных;
  • Разработка новых витрин/объектов исходя из требований системных аналитиков.

Требования:

  • Опыт работы по направлению от 1 года;
  • Хорошее знание SQL и реляционных баз данных: аналитические функции, индексы и их применение, написание хранимых процедур, создание витрин (желателен опыт оптимизации);
  • Знание стека Hadoop(HDFS, YARN, HIVE) и Spark;
  • Знание Scala/Java на уровне, достаточном для создания витрин данных на Spark;
  • Понимание процессов ETL, ELT;

Как преимущество:

  • Опыт работы с Teradata, GreenPlum, Apache Kafka;
  • Опыт работы в банковской сфере;

Мы предлагаем:

  • Профессиональный и карьерный рост: работа над масштабным проектом в крупнейшем банке России;
  • Знание – сила: обучение с курсами и поездками на конференции за счет работодателя;
  • Огненные бонусы к зарплате: годовая премия, плюшки от компаний-партнеров;
  • Забота о здоровье: расширенный соц. пакет (ДМС, страхование жизни), бесплатный тренажерный зал;
  • Комната отдыха с удобными креслами и пополняющейся библиотекой;
  • Ожидание VS реальность: у нас нет бюрократии с многотомными ТЗ и черно-белого дресс-кода, горизонтальная иерархия;