💜 Подарок для новых пользователей Хабр Карьеры — месяц бесплатного кино и скидка 10% на подписку от онлайн-кинотеатра START → зарегистрироваться

Middle Data Engineer (Прогнозирование)

Местоположение и тип занятости

КраснодарПолный рабочий деньМожно удаленно

Компания

Объединяем IT и ретейл, чтобы совершать самые важные покупки было просто — во всех уголках страны

Описание вакансии

О компании и команде

Компания MagnitTech — это опытная команда IT, которая создает экосистему современных цифровых продуктов Магнит: доставка продуктов, лекарств, инструменты для обеспечения лояльности клиентов, специальные проекты и продукты для внутренних нужд.

Чем предстоит заниматься:

  • Создавать потоки для пакетной транспортировки данных (ETL/ELT) посредством ПО Informatica PowerCenter и технологий Apache Spark и Apache Airflow;
  • Развивать потоки для потоковой транспортировки данных (Streaminig) посредством технологий Apache Kafka и Apache Structured Streaming:
  • Реализовывать оптимальный код с учетом SLA для решения бизнес-задач в виде проектов Python и SQL на платформе Apache Hadoop с помощью технологий Apache Spark, Apache Livy, Apache Hive;
  • Развивать и оптимизировать существующие процессы в системе управления задачами и балансировке нагрузки с помощью Python и Apache Airflow;
  • Работать с версионным хранилищем кода и сложными процессами непрерывной интеграции и доставки кода на прод (CI/CD GitLab);
  • Работать с существующими процессами в различных СУБД (Teradata, Postgres, Oracle, Redis) - поддерживать в актуальном состоянии документацию проекта - проводить проверку кода младших специалистов;
  • Работать с serverless сервисами в облаке (Yandex Cloud, Microsoft Azure) и системами упаковки ПО (Docker, K8S).

Ожидания от кандидата

Опыт работы со следующим стеком технологий: 

  • SQL;
  • Python; 
  • Linux;
  • Apache (Spark, Hive, Airflow); 
  • Docker;
  • Cloud (будет плюсом).

Условия работы

  • Работу в максимально уютном и современном офисе в Москве или в Краснодаре, или удаленно;
  • График работы 5/2 с гибким началом;
  • Конкурентоспособную заработную плату;
  • Мы любим учиться! А компания всегда поддерживает и способствует профессиональному развитию специалиста;
  • Корпоративную технику для успешной и удобной работы;
  • Дружескую атмосферу и поддержку команды профессиональных и активных коллег;
  • Корпоративные скидки и программы лояльности от наших партнеров.