Data engineer (Python Hadoop Spark)

X5 Group - лидер офлайн- и онлайн-рынка продуктов питания. Мы управляем портфелем брендов сетевых магазинов «Пятёрочка», «Перекрёсток», «Карусель», «Чижик», цифровыми бизнесами «Перекрёсток Впрок», «Около», 5Post, а также собственными службами логистики, прямого импорта и рядом цифровых сервисов для партнёров.

Х5 Технологии — это отдельная бизнес-единица Х5 Group, которая отвечает за создание комплексных цифровых решений для бизнес-единиц Х5.

Наша команда — это 4000+ специалистов по информационным технологиям и большим данным. Мы разрабатываем решения, которые помогают десяткам миллионов людей.

Стек: Python 3.8+, Hadoop/Hive/Spark (PySpark), Airflow, PostgreSQL, Clickhouse, K8S.

Основные задачи (детальнее расскажем на собеседовании):

• Написание пайплайнов по работе с данными с использованием Airflow, Spark (пример: регулярный расчет фичей для модели, построение витрин с данными. их обновление, расчет метрик качества данных для мониторинга)
• Оптимизация расчета фичей для модели для выдерживания SLA при масштабировании продукта под большее количество магазинов
• Настройка мониторинга и алертинга качества данных и фичей с использованием Zabbix, Grafana
• Написание unit тестов (pytest), тестов для различных участков ML пайплайна, участие в код ревью
• Не обязательно, но будет большим плюсом: опыт работы с ML, выведения ML моделей в продакшн

• Опыт работы с Python от 2 лет;
• Опыт с Hadoop, Hive, Spark;
• Знание SQL (чтобы писать и оптимизировать запросы);
• Знание классических алгоритмов и структур данных;
• Умение пользоваться git'ом и работать в команде.

• Схема мотивации: Fix + бонус (15%  - квартальный бонус 4 раза в год, 5% годовой бонус)
• Удобный офис в Москве или 100% удаленная работа
• Гибкий график работы

• Обратная связь, возможность профессионального и карьерного роста (2 раза в год оценка персонала)
• Возможность обучаться и сертифицироваться за счёт компании: внешние тренинги и семинары по профессиональным тематикам, отраслевые конференции, программа развития управленческих навыков, очные мастер-классы, платформы онлайн-образования и многое другое
• Яркую корпоративную жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации
• Широкий пакет ДМС (включая выезд за рубеж и стоматологию), страхование жизни и здоровья
• Программу привилегий Prime-zone (скидки на товары и услуги и специальные предложения от компаний-партнёров)
• Материальную помощь сотрудникам, попавшим в сложную жизненную ситуацию

Женя Телятникова, +7 919 367 25 39, по номеру WhatsApp и Telegram @zheka_miu, E-mail Evg.Telyatnikova@x5.ru