Data Engineer DWH/Разработчик баз данных
Зарплата
Требования
Местоположение и тип занятости
Компания
Описание вакансии
Условия работы
СБЕР ЕАПТЕКА – сервис для покупки лекарств и товаров для здоровья. Ежемесячно более 9 млн человек делают заказы в СБЕР ЕАПТЕКЕ. Сервис работает с 2000 года. Сегодня мы в числе лидеров рынка по количеству заказов и качеству сервиса.
В связи с развитием направления BigData в компании и быстрым ростом объемов хранимых и обрабатываемых данных требуется усиление core-команды хранилища.
Приоритетной задачей core команды DWH является глубокий рефакторинг хранилища на стеке MSSQL, проработка существующей архитектуры и разработка новой модели хранения данных, настройка ci/cd процесса и разработка сервиса для DQ мониторинга.
Обязанности:
- Работа с DWH, проектирование схем для хранения данных
- Разработка процедур загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/ маркетинговые платформы и т.д.) в DWH
- Автоматизация и контроль ETL процессов
- Автоматизация проверок качества данных
- Формирование витрин данных
- Составление технической документации по разрабатываемым витринам данных
- Подготовка и поддержание в актуальном состоянии каталога метаданных
- Организация CI/CD и мониторинга процессов обработки данных
Требования:
- Знание Python
- Опыт в организации и разработке витрин данных от 2 лет
- Понимание принципов организации хранилищ данных, принципов работы колоночных БД
- Уверенное знание SQL, умение строить сложные запросы, понимать как работать с планом запроса и как на его основе оптимизировать производительность (MS SQL обязательно)
- Опыт автоматизации ETL
- Git
Будет преимуществом:
- Опыт работы с 1c8
- Опыт работы с BigQuery (Google Cloud Platform), ClickHouse, PostgreSQL
- Понимание рынка ecommerce/ритейла
- Знание стека технологий Hadoop
- Опыт работы с Apache Spark
- Опыт работы с Airflow и/или Apache NiFi
Условия:
- Мы продуктовая IT/Digital - компания (мы работаем только над своим продуктом и ежедневно его улучшаем)
- Каждая задача проходит код-ревью
- Безграничные возможности профессионального роста и обучения
- ДМС, тимбилдинги
- Отсутствие бюрократии
- Техника на выбор
- Полностью удаленная работа (по желанию, в комфортном офисе в центре Москвы)