Data Engineer

Зарплата

от 200 000 ₽

Местоположение и тип занятости

ЕкатеринбургПолный рабочий день

Компания

Решения для бизнеса по управлению рисками на основе больших данных

Описание вакансии

Условия работы

SpectrumData объединяет группу федеральных сервисов по проверке: автомобилей (avtocod.ru и avtocod.ru/profi), физических лиц (checkperson.ru), контрагентов (xfirm.ru), объектов недвижимости (egrnreester.ru) и кредитных историй (https://cbch.ru). Нашими клиентами являются Яндекс, Mail group, Газпромнефть, ВСК, Кардиф, Согласие, Росгосстрах и многие другие.

Мы работаем со зрелыми сервисами и при этом сохраняют динамику стартапа, мы активно взаимодействуем со внешней средой (агрегируем и обогащаем данные из различных источников), и нам приходится постоянно держать руку на пульсе всех изменений! Поэтому наши продукты “живые”, постоянно находятся в стадии развития и совершенствования, скучать не приходится :)

Задачи, которые предстоит решать:

  • Извлечение, анализ, загрузка и трансформация больших объемов данных из различных внешних и внутренних источников, участие в процессах контроля полноты и качества данных;
  • Контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных;
  • Анализ исходных данных (в различных форматах) для решения бизнес-задач;
  • Моделирование структуры данных, разработка процессов трансформации и загрузки;

Наши ожидания от кандидата:

  • ​​​​Знание SQL на хорошем уровне; умение работать с РСУБД и NoSQL (преимуществом будет знание PostgreSQL и Cassandra);
  • Опыт работы с распределенной обработкой - Hadoop, Spark;
  • Общие навыки программирования на языках и платформах, используемых в области обработки данных - Python, Scala, Kotlin;
  • Навыки работы со стриммингом и его обработкой - Kafka, Flink;
  • Опыт работы с большими объемами данных, в том числе неструктурированными;
  • Умение находить узкие места в коде обработки данных и оптимизировать запросы;
  • Понимание принципов организации хранилищ данных, их основной проблематики и подходов к решению.

Бонусы

У нас для тебя есть:

  • Возможность развития в команде профессионалов по работе с данными. Вертикальный и горизонтальный карьерный рост;
  • Гибкий рабочий день
    и понятные рабочие процессы;
  • ДМС после испытательного срока;
  • Корпоративная tech-библиотека;
  • Оплата профессионального обучения
    и посещение конференций;
  • Бесплатное обучение английскому и немецкому в офисе;
  • Корпоративы, вылазки на природу
    и активный отдых.