Middle Data Engineer (Прогнозирование)

Компания MagnitTech — это опытная команда IT, которая создает экосистему современных цифровых продуктов Магнит: доставка продуктов, лекарств, инструменты для обеспечения лояльности клиентов, специальные проекты и продукты для внутренних нужд.

Чем предстоит заниматься:

• Создавать потоки для пакетной транспортировки данных (ETL/ELT) посредством ПО Informatica PowerCenter и технологий Apache Spark и Apache Airflow;
• Развивать потоки для потоковой транспортировки данных (Streaminig) посредством технологий Apache Kafka и Apache Structured Streaming:
• Реализовывать оптимальный код с учетом SLA для решения бизнес-задач в виде проектов Python и SQL на платформе Apache Hadoop с помощью технологий Apache Spark, Apache Livy, Apache Hive;
• Развивать и оптимизировать существующие процессы в системе управления задачами и балансировке нагрузки с помощью Python и Apache Airflow;
• Работать с версионным хранилищем кода и сложными процессами непрерывной интеграции и доставки кода на прод (CI/CD GitLab);
• Работать с существующими процессами в различных СУБД (Teradata, Postgres, Oracle, Redis) - поддерживать в актуальном состоянии документацию проекта - проводить проверку кода младших специалистов;
• Работать с serverless сервисами в облаке (Yandex Cloud, Microsoft Azure) и системами упаковки ПО (Docker, K8S).

Опыт работы со следующим стеком технологий: 

• SQL;
• Python; 
• Linux;
• Apache (Spark, Hive, Airflow); 
• Docker;
• Cloud (будет плюсом).

• Работу в максимально уютном и современном офисе в Москве или в Краснодаре, или удаленно;
• График работы 5/2 с гибким началом;
• Конкурентоспособную заработную плату;
• Мы любим учиться! А компания всегда поддерживает и способствует профессиональному развитию специалиста;
• Корпоративную технику для успешной и удобной работы;
• Дружескую атмосферу и поддержку команды профессиональных и активных коллег;
• Корпоративные скидки и программы лояльности от наших партнеров.