Data Engineer
Зарплата
Требования
Местоположение и тип занятости
Компания
Описание вакансии
Условия работы
SpectrumData объединяет группу федеральных сервисов по проверке: автомобилей (avtocod.ru и avtocod.ru/profi), физических лиц (checkperson.ru), контрагентов (xfirm.ru), объектов недвижимости (egrnreester.ru) и кредитных историй (https://cbch.ru). Нашими клиентами являются Яндекс, Mail group, Газпромнефть, ВСК, Кардиф, Согласие, Росгосстрах и многие другие.
Мы работаем со зрелыми сервисами и при этом сохраняют динамику стартапа, мы активно взаимодействуем со внешней средой (агрегируем и обогащаем данные из различных источников), и нам приходится постоянно держать руку на пульсе всех изменений! Поэтому наши продукты “живые”, постоянно находятся в стадии развития и совершенствования, скучать не приходится :)
Задачи, которые предстоит решать:
- Извлечение, анализ, загрузка и трансформация больших объемов данных из различных внешних и внутренних источников, участие в процессах контроля полноты и качества данных;
- Контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных;
- Анализ исходных данных (в различных форматах) для решения бизнес-задач;
- Моделирование структуры данных, разработка процессов трансформации и загрузки;
Наши ожидания от кандидата:
- Знание SQL на хорошем уровне; умение работать с РСУБД и NoSQL (преимуществом будет знание PostgreSQL и Cassandra);
- Опыт работы с распределенной обработкой - Hadoop, Spark;
- Общие навыки программирования на языках и платформах, используемых в области обработки данных - Python, Scala, Kotlin;
- Навыки работы со стриммингом и его обработкой - Kafka, Flink;
- Опыт работы с большими объемами данных, в том числе неструктурированными;
- Умение находить узкие места в коде обработки данных и оптимизировать запросы;
- Понимание принципов организации хранилищ данных, их основной проблематики и подходов к решению.
Бонусы
У нас для тебя есть:
- Возможность развития в команде профессионалов по работе с данными. Вертикальный и горизонтальный карьерный рост;
- Гибкий рабочий день
и понятные рабочие процессы; - ДМС после испытательного срока;
- Корпоративная tech-библиотека;
- Оплата профессионального обучения
и посещение конференций; - Бесплатное обучение английскому и немецкому в офисе;
- Корпоративы, вылазки на природу
и активный отдых.