Data Engineer

Местоположение и тип занятости

Санкт-ПетербургПолный рабочий деньМожно удаленно

Компания

ИТ-подразделение ГК «Спортмастер»

Описание вакансии


Мы находимся в поиске Ведущего Data engineer'a, который будет заниматься развитием направлений :Цифровая аналитика" "Антифрод", "Инфраструктура DataLake".

Команда сейчас небольшая. Есть возможность быть у истоков и работать над построением DE в компании.

Чем мы занимаемся?

Мы развиваем хранилище данных о взаимодействиях с нашими клиентами на технологиях стека Hadoop, и разрабатываем поверх него статистические алгоритмы на Python и SQL для поддержки data-driven сервисов персонализации клиентского опыта во всех каналах.

Задачи:

  • Извлечение, преобразование, загрузка данных и их обработка.
  • Реализация ETL в Hadoop (с помощью Airflow).
  • Работа с различными источниками данных: Oracle, API личных кабинетов, микросервисы.
  • Батч и стримы с помощью PySpark и Kafka.
  • Подготовка витрин для анализа (Hive + Spark).

Стек технологий:

  • Для разработки используем: PL/SQL (Oracle), Hive ,GitLab,Python, Spark, Airflow.
  • Для организации работы: Jira, Confluence,  работаем спринтами.

Мы ждем от будущих коллег:

  • Уверенное владение Python.
  • Опыт использования эко-системы Hadoop: HDFS, Apache AirFlow, Hive, Kafka.
  • Отличное знание SQL: аналитические функции, оптимизация запросов.
  • Опыт работы с реляционными базами данных (Oracle).
  • Если что-то из этого списка не знакомо - не страшно, будем обсуждать.