Data Engineer с функциями разработки на Kotlin

SpectrumData объединяет группу федеральных сервисов по проверке: автомобилей (avtocod.ru и avtocod.ru/profi), физических лиц (checkperson.ru), контрагентов (xfirm.ru), объектов недвижимости (egrnreester.ru) и кредитных историй (https://cbch.ru). Нашими клиентами являются Яндекс, Mail group, Газпромнефть, ВСК, Кардиф, Согласие, Росгосстрах и многие другие.

Мы работаем со зрелыми сервисами и при этом сохраняют динамику стартапа, мы активно взаимодействуем со внешней средой (агрегируем и обогащаем данные из различных источников), и нам приходится постоянно держать руку на пульсе всех изменений! Поэтому наши продукты “живые”, постоянно находятся в стадии развития и совершенствования, скучать не приходится :)

Если ты интересуешься программированием, подписывайся на наш YouTube канал "Spectrumdata dev" (ссылка: https://www.youtube.com/channel/UCcZykVFJA8AAlHMGPOWGU0g).

Задачи, которые предстоит решать:

• Извлечение, анализ, загрузка и трансформация больших объемов данных из различных внешних и внутренних источников, участие в процессах контроля полноты и качества данных;
• Разработка автоматизированных инструментов для оценки качества данных (на Kotlin);
• Разработка новых и оптимизация имеющихся приложений для повышения скорости выгружаемых данных (на Kotlin);
• Построение хранилищ данных;
• Контроль качества загружаемых данных;
• Анализ исходных данных (в различных форматах) для решения бизнес-задач;
• Моделирование структуры данных, разработка процессов трансформации и загрузки.

Наши ожидания от кандидата:

• ​​​​Знание SQL на хорошем уровне; умение работать с РСУБД и NoSQL (преимуществом будет знание PostgreSQL и Cassandra);
• Опыт работы с распределенной обработкой - Hadoop, Spark (желательно);
• Навыки программирования на языках и платформах, используемых в области обработки данных - Java, Python, Scala, Kotlin;
• Навыки работы со стриммингом и его обработкой - Kafka, Flink ((будет преимуществом);
• Опыт работы с большими объемами данных, в том числе неструктурированными (будет преимуществом);
• Умение находить узкие места в коде обработки данных и оптимизировать запросы;
• Понимание принципов организации хранилищ данных, их основной проблематики и подходов к решению.

Условия:

• Возможность развития в команде профессионалов по работе с данными. Вертикальный и горизонтальный карьерный рост
• Оформление по ТК, гибкий рабочий день
  и понятные рабочие процессы
• ДМС после испытательного срока
• Корпоративная tech-библиотека
• Оплата профессионального обучения
  и посещение конференций
• Бесплатное обучение английскому в офисе
• Корпоративы, вылазки на природу
  и активный отдых