Senior Data Engineer / DWH Team
Зарплата
от 300 000 до 450 000 ₽
Требования
Местоположение и тип занятости
Компания
Торговая площадка
Описание вакансии
Условия работы
Сердце отдела анализа данных - решения и продукты, созданные на основе данных.
Над взращиванием этой культуры работают наши дата инженеры. Они лучше всех в компании понимают данные - откуда они текут и куда, как их нужно обработать и как помочь всей компании извлечь из них максимальную пользу.
Что мы делаем, чтобы помогать извлекать пользу из даных?
- DWH, которое поддерживает как паттерны потребления данных аналитиков, так и ML инженеров. Мы потоково сохраняем изменяющиеся данные (CDC) с помощью Kafka Connect на Object Storage, моделируем их в Greenplum и выгружаем в Clickhouse.
- Feature Store, который объединяет процессы online предсказания на горячем хранилище и оффлайн тренировки модели на холодном хранилище.
- Data Governance - мы обогащаем наши данные полезными метаданными - оценкой качества данных, документацией, lineage.
- Airflow - мы следим за тем, как другие инженеры и аналитики пользуются Airflow и постоянно улучшаем наши операторы.
Задачи
- Развитие процессов моделирование данных в DWH - улучшение качества данных и скорости их доставки до ценности.
- Поддержка ключевых, платформенных витрин, из которых формируется большинство выводов и отчетности.
- Разработка BI системы вместе с BI инженерами
- Мониторинг, работоспособность и масштабируемость платформы данных
У хорошего кандидата найдутся следующие навыки и опыт
- Умение работать с MPP базами, желательно Greenplum
- Умение и опыт работать с OLAP базами, желательно Clickhouse
- Умение моделировать данные - Kappa / Lambda / Data Vault / Data Anchor / hNhM
- Опыт работы с холодным хранилищем i.e. DeltaLake
Бонусы
- 🔥 Много ответственности - наши инженеры самостоятельно драйвят большие и сложные истории внутри продукта
- 🚀 Сильная и энергичная команда, нацеленная на быстрый рост на конкурентном рынке
- 🦾 Современные и интересные технологии, возможность тестировать новое и эффективное
- 🏝 Удалёнка если тебе это по душе. Ну а если нет, то есть доступные комфортные офисы в Москва-Сити или Иннополисе
- 🧑⚕️ ДМС со стоматологией, частичная компенсация спортзала и обучений и конференций
Дополнительные инструкции
Чтобы откликнуться на вакансию - присылай свое CV сюда или мне в ТГ @IrinaOrMarina