Senior Data Engineer (логистика)
Требования
Местоположение и тип занятости
Компания
Мы строим DIY будущего
Описание вакансии
О компании и команде
Мы – команда Даты в логистике, которой развивает культуру работы с данными и их применения для принятия ключевых стратегических и операционных решений. И для этого нам нужен опытный дата инженер.
В команде есть 3 ключевых направления:
- Техническое развитие даты. Функции этого направления - обеспечить наличие и консистентность данных из систем источников в едином месте для создания аналитической отчетности. Развитие нашего собственного хранилища данных.
- Прозрачность - сделать логистику прозрачной для её сотрудников и сотрудников других отделов, а также дать возможность сотрудникам принимать решения базируясь на данных, а не на интуиции. Команда работает над разработкой онлайн дашбордов на базе оперативных данных и разработкой системы контроля ключевых операционных и финансовых метрик на базе аналитических данных.
- Реализация ML проектов – в этом блоке мы планируем работать над проектами по оптимизации логистических процессов (склада, транспортировки, контроля поставок, и т.д.) разрабатывая ML-инструменты для улучшения алгоритма выбора просчета логистических объектов.
Ожидания от кандидата
Обязанности:
- Интеграция данных из систем источников в хранилища данных (ETL/ELT);
- Создание и развитие хранилища для около риал тайм данных (Postgres);
- Создавать и улучшать процессы обработки данных;
- Принимать участие в создании интеграций новых источников в DataLake;
- Принимать участие в архитектурных решениях;
- Разрабатывать процедуры формирования детального слоя данных и слоя витрин (GP, Postgres);
- Реализовывать процессы CI/CD и мониторинга разработанных процессов обработки данных (Grafana, Prometheus);
- Покрывать интеграции и расчеты витрин проверками качества данных;
- Документировать свою работу в Яндекс Вики;
- Работать в Яндекс Трекере;
- Работа с инцидентами в ITSM инструменте.
Требования:
- Знания принципов работы БД, построения ХД;
- Опыт разработки ETL процессов (NiFi, Flink);
- Имеет опыт работы с системами контроля версий (Git);
- Опыт работы с высоконагруженными системами хранения и обработки данных;
- Отличное знание SQL, опыт оптимизации запросов (GreenPlum, Postgres);
- Опыт самостоятельного ведения проектов;
- Опыт разработки на Python;
- Желание обучаться и развиваться;
- Понимание работы брокеров сообщений (Kafka);
- Опыт работы с Machine learning моделями будет плюсом (Kubernetes, Kuberflow).
Условия работы
Что мы готовы предложить:
- работу в компании с развитой инженерной культурой;
- гибкую систему премирования;
- расширенный социальный пакет: ДМС со стоматологией с первого месяца работы, психолог и страхование жизни, компенсация питания и оплата мобильной связи;
- возможности профессионального роста, программы развития для сотрудников;
- корпоративное обучение и доступ к базе знаний;
- внутренние профессиональные сообщества и мероприятия;
- автономность работы, возможность менять правила, ошибаться и создавать новое;
- гибридный формат работы;
- современный офис в 2 минутах ходьбы от МЦК ЗИЛ.