Data Engineer

SpectrumData объединяет группу федеральных сервисов по проверке: автомобилей (avtocod.ru и avtocod.ru/profi), физических лиц (checkperson.ru), контрагентов (xfirm.ru), объектов недвижимости (egrnreester.ru) и кредитных историй (https://cbch.ru). Нашими клиентами являются Яндекс, Mail group, Газпромнефть, ВСК, Кардиф, Согласие, Росгосстрах и многие другие.

Мы работаем со зрелыми сервисами и при этом сохраняют динамику стартапа, мы активно взаимодействуем со внешней средой (агрегируем и обогащаем данные из различных источников), и нам приходится постоянно держать руку на пульсе всех изменений! Поэтому наши продукты “живые”, постоянно находятся в стадии развития и совершенствования, скучать не приходится :)

Задачи, которые предстоит решать:

• Извлечение, анализ, загрузка и трансформация больших объемов данных из различных внешних и внутренних источников, участие в процессах контроля полноты и качества данных;
• Контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных;
• Анализ исходных данных (в различных форматах) для решения бизнес-задач;
• Моделирование структуры данных, разработка процессов трансформации и загрузки;

Наши ожидания от кандидата:

• ​​​​Знание SQL на хорошем уровне; умение работать с РСУБД и NoSQL (преимуществом будет знание PostgreSQL и Cassandra);
• Опыт работы с распределенной обработкой - Hadoop, Spark;
• Общие навыки программирования на языках и платформах, используемых в области обработки данных - Python, Scala, Kotlin;
• Навыки работы со стриммингом и его обработкой - Kafka, Flink;
• Опыт работы с большими объемами данных, в том числе неструктурированными;
• Умение находить узкие места в коде обработки данных и оптимизировать запросы;
• Понимание принципов организации хранилищ данных, их основной проблематики и подходов к решению.

У нас для тебя есть:

• Возможность развития в команде профессионалов по работе с данными. Вертикальный и горизонтальный карьерный рост;
• Гибкий рабочий день
  и понятные рабочие процессы;
• ДМС после испытательного срока;
• Корпоративная tech-библиотека;
• Оплата профессионального обучения
  и посещение конференций;
• Бесплатное обучение английскому и немецкому в офисе;
• Корпоративы, вылазки на природу
  и активный отдых.