Data engineer
Требования
Местоположение и тип занятости
Компания
Объединяем IT и ретейл, чтобы совершать самые важные покупки было просто — во всех уголках страны
Описание вакансии
Условия работы
Привет! На связи MAGNIT Tech 🧲 - аккредитованная IT-компания.
Мы объединяем технологии, цифры и людей, строим сложные системы, чтобы совершать самые важные покупки было просто во всех уголках страны.
Сейчас наша команда в поиске Data engineer для нового, перспективного проекта, связанного напрямую с E-commerce.
Что нужно будет делать?:
- Создавать потоки для пакетной транспортировки данных (ETL/ELT) посредством технологий Apache Spark и Apache Airflow
- Развивать потоки для потоковой транспортировки данных (Streaminig) посредством технологий Apache Kafka и Apache Structured Streaming
- Реализовывать оптимальный код с учетом SLA для решения бизнес-задач в виде проектов Python и SQL на платформе Apache Hadoop с помощью технологий Apache Spark, Apache Livy, Apache Hive
- Развивать и оптимизировать существующие процессы в системе управления задачами и балансировке нагрузки с помощью Python и Apache Airflow
- Работать с версионным хранилищем кода и сложными процессами непрерывной интеграции и доставки кода на прод (CI/CD GitLab)
- Работать с существующими процессами в различных СУБД (Teradata, Postgres, Oracle, Redis)
- Поддерживать в актуальном состоянии документацию проекта
- Проводить проверку кода младших специалистов
- Работать с serverless сервисами в облаке (Yandex Cloud) и системами упаковки ПО (Docker, K8S)
Наш стек:
- Apache (Spark, Hive, Airflow, Kafka)
- Python
- SQL
- Linux
- Docker
- Yandex Cloud
Готовы предложить:
- Конкурентный уровень заработной платы
- Оформление по ТК РФ, ДМС
- Возможность работать как удаленно - из своего дома или уютной кофейни, так и из комфортного офиса в Москве или Краснодаре
- Современный стек технологий - мы не стоим на месте и всегда идем "в ногу" со временем :)
- Работу в креативной, молодой команде, где всегда можно предложить свои идеи и они будут услышаны
Скорее откликайся, возможно мы ищем именно тебя!