Вообще все курсы Хекслета бесплатные! Но только до 15 декабря. Всё, что нужно → принять вызов

Data Engineer/ Разработчик DWH

Зарплата

от 200 000 ₽

Местоположение и тип занятости

ЕкатеринбургПолный рабочий день

Компания

Решения для бизнеса по управлению рисками на основе больших данных

Описание вакансии

О компании и команде

Компания SpectrumData — маркетплейс данных для бизнеса, который объединяет группу федеральных сервисов. Мы занимаемся сбором, агрегацией, обработкой и анализом данных и создаем продукты для компаний из разных отраслей.

Мы ищем Разработчика DWH на наш продукт Кредитное бюро. Кредитное бюро хранит и обрабатывает миллионы кредитных историй. Данные ежедневно поступают из множества внешних источников и используются для построения финансовой отчётности, исполнения коммерческих запросов.

Мы готовимся к существенному увеличению количества кредитных историй в нашей базе (+100 млн историй), а также к повышению нагрузки по сценариям отчётности в связи с расширением клиентской базы. Поэтому пришло время обеспечить масштабирование и ускорение системы хранения и обработки данных.

Задачи, которые предстоит решать:

  • Подготовка данных для быстрого построения отчётности, аналитики, исполнения запросов;
  • Формирование выгрузок, отчетов;
  • Оптимизация кластера OLTP (PostgreSQL);
  • Выполнение миграций.

    Ожидания от кандидата

    • Опыт построения систем распределённой обработки данных с использованием инструментов типа Hadoop, Spark, Airflow, YTsaurus;
    • Хорошее знание SQL, Python или другого языка программирования.

      Твоим преимуществом будет:

      • Опыт работы с различными базами данных, умение выбирать подходящую БД для конкретной задачи;
      • Опыт использования CDC;
      • Знание XML, XSD.

      Условия работы

      • Возможность развития в команде профессионалов по работе с данными. Вертикальный и горизонтальный карьерный рост;
      • Гибкий рабочий день (офисный формат работы)
        и понятные рабочие процессы;
      • ДМС после испытательного срока;
      • Корпоративная tech-библиотека;
      • Оплата профессионального обучения
        и посещение конференций;
      • Бесплатное обучение английскому в офисе;
      • Корпоративы, вылазки на природу
        и активный отдых