Data Engineer/ Разработчик DWH

Компания SpectrumData — маркетплейс данных для бизнеса, который объединяет группу федеральных сервисов. Мы занимаемся сбором, агрегацией, обработкой и анализом данных и создаем продукты для компаний из разных отраслей.

Мы ищем Разработчика DWH на наш продукт Кредитное бюро. Кредитное бюро хранит и обрабатывает миллионы кредитных историй. Данные ежедневно поступают из множества внешних источников и используются для построения финансовой отчётности, исполнения коммерческих запросов.

Мы готовимся к существенному увеличению количества кредитных историй в нашей базе (+100 млн историй), а также к повышению нагрузки по сценариям отчётности в связи с расширением клиентской базы. Поэтому пришло время обеспечить масштабирование и ускорение системы хранения и обработки данных.

Задачи, которые предстоит решать:

• Подготовка данных для быстрого построения отчётности, аналитики, исполнения запросов;
• Формирование выгрузок, отчетов;
• Оптимизация кластера OLTP (PostgreSQL);
• Выполнение миграций.

• Опыт построения систем распределённой обработки данных с использованием инструментов типа Hadoop, Spark, Airflow, YTsaurus;
• Хорошее знание SQL, Python или другого языка программирования.

Твоим преимуществом будет:

• Опыт работы с различными базами данных, умение выбирать подходящую БД для конкретной задачи;
• Опыт использования CDC;
• Знание XML, XSD.

• Возможность развития в команде профессионалов по работе с данными. Вертикальный и горизонтальный карьерный рост;
• Гибкий рабочий день (офисный формат работы)
  и понятные рабочие процессы;
• ДМС после испытательного срока;
• Корпоративная tech-библиотека;
• Оплата профессионального обучения
  и посещение конференций;
• Бесплатное обучение английскому в офисе;
• Корпоративы, вылазки на природу
  и активный отдых