Senior Data Engineer

О компании и команде

МагнитTech – команда из 4500 IT специалистов, которая создает экосистему комплементарных сервисов (Magnit pay, Magnit mobile, Моментальный кредит, DMP платформа, Программа лояльности).

Сейчас мы в поисках Senior Data Engineer на один из стратегических проектов компании.

Проект F&R "Совершенствование системы автозаказа и пополнения" нацелен на создание оптимального баланса по уровню запасов и их доступности в сети Магнит. Проект охватывает всю географию розничной сети Магнит на территории РФ.

Стек технологий: Apache (Spark, Hive, Airflow, Kafka), Python, SQL, Linux, Docker, Yandex Cloud.

Чем ты будешь заниматься:

• создавать и поддерживать ETL/ELT-конвейеры с помощью Apache Spark и Airflow;
• организовать потоковую обработку данных средствами Apache Kafka и Structured Streaming;
• писать эффективные скрипты на Python и SQL для решения бизнес-задач на платформе Hadoop;
• улучшать процессы автоматизации и управления задачами с помощью Python и Airflow;
• осуществлять разработку и деплоймент проектов в CI/CD GitLab, работать с различными базами данных и cloud-сервисами.

Ожидания от кандидата

• знание и опыт работы с технологиями Apache Spark, Hive, Airflow;
• навыки программирования на языках Python и SQL;
• опыт работы в операционной системе Linux;
• опыт работы с потоковой обработкой данных (Streaming) и Docker;
• приветствуется опыт работы с облаком Yandex Cloud.

Условия работы

• работу в аккредитованной IT-компании;
• график работы 5/2 с гибким началом рабочего дня;
• возможность работать как удаленно, так и в современных офисах с зонами отдыха в Москве, Краснодаре, Санкт-Петербурге;
• ДМС со стоматологией;
• оплату обучения на курсах и участие в конференциях;
• возможность реализовать свой опыт и потенциал в интересных и многоплановых проектах;
• прозрачные цели, четкие ожидания, здравый смысл в процессах и управленческих подходах;
• возможность проведения митапов, хакатонов, где есть возможность познакомиться с работой других подразделений;
• наличие корпоративных скидок PRIMEZONE, программ лояльности, корпоративной библиотеки, курсов;
• корпоративную технику для комфортной работы.