Data engineer (Python, Hadoop, Spark)

Требуемые навыки

Разработка ПОСтарший (Senior) · Hadoop · Spark · Python

Местоположение и тип занятости

Москва · Полный рабочий день · Можно удаленно

Компания

Ведущая компания современной розничной торговли («Пятёрочка», «Перекрёсток» и «Карусель»)

Описание вакансии

X5 GROUP - ведущая компания современной розничной торговли, управляет портфелем брендов магазинов "Пятёрочка", "Перекресток" и "Карусель" и "Чижик". 

В подразделении "Х5 Технологии" открыто несколько позиций Data engineer

  1. Прогнозирования спроса: модели машинного обучения и алгоритмы, на основе данных по чекам и остаткам предупреждают сотрудников магазинов о том, что надо проверить/положить товар на полки. Продукт прошел стадию пилот (600 магазинов) и теперь дорабатывается и масштабируется на 17+ тыс. магазинов. Команда: ≈10 человек
  2. Стек: Python (FastAPI), Hadoop, Spark, PostgreSQL + Clickhouse, Kafka. Docker, K8s, GitLab. Микросервисная архитектура.
  3. «Планирование ассортимента». Поддержка принятия решений. +ML-алгоритмы выбора товаров для магазина в зависимости от локации и соц.дем. >15 000 магазинов
    Проект в стадии развития и масштабирование проекта. Команда: ≈10 человек
    Стек: Python 3.5-3.8., Fastapi, Hadoop, PySpark + Airflow. PostgreSQL, Kafka, Kibana, ElasticSearch. Docker, K8s, GitLab.

Основные задачи (детальнее расскажем на собеседовании):

  • Написание пайплайнов по работе с данными с использованием Airflow, Spark (пример: регулярный расчет фичей для модели, построение витрин с данными. их обновление, расчет метрик качества данных для мониторинга)
  • Оптимизация расчета фичей для модели для выдерживания SLA при масштабировании продукта под большее количество магазинов
  • Настройка мониторинга и алертинга качества данных и фичей с использованием Zabbix, Grafana
  • Написание unit тестов (pytest), тестов для различных участков ML пайплайна, участие в код ревью
  • Ну обязательно, но будет большим плюсом: опыт работы с ML, выведения ML моделей в продакшн

    Мы сможем рассмотреть на вакансию кандидатов, у которых есть:

    • Опыт работы с Python от 2 лет
    • Опыт с Hadoop, Hive, Spark
    • Знание SQL (чтобы писать и оптимизировать запросы)
    • Знание классических алгоритмов и структур данных
    • Опыт работы с docker (kubernetes, pyspark, airflow и ds фреймворков python– не обязательно, но будет плюсом)
    • Умение пользоваться git'ом и работать в команде

    Бонусы

    Мы предлагаем:

    • схему мотивации: Fix + годовой бонус (20% годового оклада)
    • удобный офис у м. Парк Культуры или удаленную работу
    • гибкий график работы (с 8/9/10 утра)
    • обратную связь, возможность профессионального и карьерного роста (2 раза в год оценка персонала)
    • возможность обучаться и сертифицироваться за счёт компании: внешние тренинги и семинары по профессиональным тематикам, отраслевые конференции, программа развития управленческих навыков, очные мастер-классы, платформы онлайн-образования и многое другое
    • яркую корпоративную жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации
    • широкий пакет ДМС (включая выезд за рубеж и стоматологию)
    • страхование жизни и здоровья
    • скидки в магазинах сети Х5 («Пятёрочка», «Перекрёсток», «Карусель»)
    • программу привилегий Prime-zone (скидки на товары и услуги и специальные предложения от компаний-партнёров)
    • материальную помощь сотрудникам, попавшим в сложную жизненную ситуацию
    • Само собой, оформление по ТК РФ с официальной заработной платой;

    Дополнительные инструкции

    Татьяна Бурцева, +7 926 825 68 48, по номеру WhatsApp и Telegram @TABurtseva.  E-mail, на всякий случай, T.Burtseva@x5.ru

    Проще всего написать в телеграмм ФИО, указать, что отклик на вакансию, Ваш номер сотового, и я свяжусь с Вами.  

    Ваш отклик

    Авторизуйтесь
    Откликаться на вакансии могут только зарегистрированные пользователи.