Data engineer

Привет! На связи MAGNIT Tech 🧲 -  аккредитованная IT-компания. 

Мы объединяем технологии, цифры и людей, строим сложные системы, чтобы совершать самые важные покупки было просто во всех уголках страны.

Сейчас наша команда в поиске Data engineer для нового, перспективного проекта, связанного напрямую с E-commerce. 

Что нужно будет делать?: 

• Создавать потоки для пакетной транспортировки данных (ETL/ELT) посредством технологий Apache Spark и Apache Airflow
• Развивать потоки для потоковой транспортировки данных (Streaminig) посредством технологий Apache Kafka и Apache Structured Streaming
• Реализовывать оптимальный код с учетом SLA для решения бизнес-задач в виде проектов Python и SQL на платформе Apache Hadoop с помощью технологий Apache Spark, Apache Livy, Apache Hive
• Развивать и оптимизировать существующие процессы в системе управления задачами и балансировке нагрузки с помощью Python и Apache Airflow
• Работать с версионным хранилищем кода и сложными процессами непрерывной интеграции и доставки кода на прод (CI/CD GitLab)
• Работать с существующими процессами в различных СУБД (Teradata, Postgres, Oracle, Redis)
• Поддерживать в актуальном состоянии документацию проекта
• Проводить проверку кода младших специалистов
• Работать с serverless сервисами в облаке (Yandex Cloud) и системами упаковки ПО (Docker, K8S)

Наш стек:

• Apache (Spark, Hive, Airflow, Kafka)
• Python
• SQL
• Linux
• Docker
• Yandex Cloud

Готовы предложить: 

• Конкурентный уровень заработной платы
• Оформление по ТК РФ,  ДМС
• Возможность работать как удаленно - из своего дома или уютной кофейни, так и из комфортного офиса в Москве или Краснодаре
• Современный стек технологий - мы не стоим на месте и всегда идем "в ногу" со временем :) 
• Работу в креативной, молодой команде, где всегда можно предложить свои идеи и они будут услышаны

Скорее откликайся, возможно мы ищем именно тебя!