Data Engineer DWH/Разработчик баз данных

СБЕР ЕАПТЕКА – сервис для покупки лекарств и товаров для здоровья. Ежемесячно более 9 млн человек делают заказы в СБЕР ЕАПТЕКЕ. Сервис работает с 2000 года. Сегодня мы в числе лидеров рынка по количеству заказов и качеству сервиса.

В связи с развитием направления BigData в компании и быстрым ростом объемов хранимых и обрабатываемых данных требуется усиление core-команды хранилища.

Приоритетной задачей core команды DWH является глубокий рефакторинг хранилища на стеке MSSQL, проработка существующей архитектуры и разработка новой модели хранения данных, настройка ci/cd процесса и разработка сервиса для DQ мониторинга.

Обязанности:

• Работа с DWH, проектирование схем для хранения данных

• Разработка процедур загрузки данных из различных источников (как внутренние БД, так и внешние аналитические/ маркетинговые платформы и т.д.) в DWH
• Автоматизация и контроль ETL процессов
• Автоматизация проверок качества данных
• Формирование витрин данных
• Составление технической документации по разрабатываемым витринам данных
• Подготовка и поддержание в актуальном состоянии каталога метаданных
• Организация CI/CD и мониторинга процессов обработки данных

Требования:

• Знание Python
• Опыт в организации и разработке витрин данных от 2 лет
• Понимание принципов организации хранилищ данных, принципов работы колоночных БД
• Уверенное знание SQL, умение строить сложные запросы, понимать как работать с планом запроса и как на его основе оптимизировать производительность (MS SQL обязательно)
• Опыт автоматизации ETL
• Git

Будет преимуществом:

• Опыт работы с 1c8
• Опыт работы с BigQuery (Google Cloud Platform), ClickHouse, PostgreSQL
• Понимание рынка ecommerce/ритейла
• Знание стека технологий Hadoop
• Опыт работы с Apache Spark
• Опыт работы с Airflow и/или Apache NiFi

Условия:

• Мы продуктовая IT/Digital - компания (мы работаем только над своим продуктом и ежедневно его улучшаем)
• Каждая задача проходит код-ревью
• Безграничные возможности профессионального роста и обучения
• ДМС, тимбилдинги
• Отсутствие бюрократии
• Техника на выбор
• Полностью удаленная работа (по желанию, в комфортном офисе в центре Москвы)