Junior/Middle Data Engineer

Местоположение и тип занятости

МоскваПолный рабочий день

Компания

Крупнейшая цифровая платформа. Технобренд, объединяющий лучшие мировые практики и самый современный стек

Описание вакансии

Условия работы

Наша команда занимается разработкой витрин данных и созданием внутренних инструментов для автоматизации процесса разработки и вывода, исследованием новых источников данных, помогает командам соседних подразделений построить интеграцию с нашими процессами.

Мы ищем специалиста, желающего развиваться в DE и готового делиться своими знаниями с коллегами.

Задачи:

  • исследование источников данных (внешних данных, реплик АС Банка, других витрин);
  • разработка и изменение витрин данных на Hadoop/GreenPlum исходя из требований аналитиков данных;
  • создание алгоритмов загрузки данных в витрины с учётом историчности, уникальности, логики обновления таблиц;
  • написание функций для первичной обработки, преобразования и агрегации данных на Spark (Scala, Java, Python).

Что мы ожидаем:

  • понимание работы Hive, Spark на Hadoop;
  • базовые знания языков программирования Python;
  • знание SQL на уровне аналитических запросов;
  • понимание объектно-ориентированного подхода к разработке;
  • умение обращаться с git, bash.

Будет плюсом:

  • опыт разработки на Spark/PySpark;
  • оптимизация выполнения сценариев на Spark;
  • понимание процессов ETL, ELT.

Бонусы

Что мы предлагаем:

  • команда высокомотивированных и увлеченных профессионалов, с которой вы получите максимальное удовольствие от работы;
  • мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы;
  • возможность работы с новыми технологиями;
  • обучение за счет компании;
  • красивый и комфортный офис (пр-т Кутузовский 32);
  • ДМС с первого дня.