Data Engineer
Требования
Местоположение и тип занятости
Компания
Один из мировых лидеров отрасли FMCG
Описание вакансии
О компании и команде
Мы ищем Data Engineer в команду Data Management дата-офиса одного из направлений бизнеса.
Цель команды Data Management – внедрить процессы управления данными, а также практики и системы, которые позволят всей компании контролировать свои ресурсы в виде данных и управлять ими. Мы отвечаем за работу всего data-pipeline от исходной системы до отчета.
Мы используем современные подходы и технологический стек: Python, SQL, PySpark, Kafka, YCP, Airflow, NiFi, S3, Power BI, Yandex DataLens, Apache SuperSet.
Вы будете:
- Работать с витринами данных;
- Интегрировать источники данных в DataLake;
- Обрабатывать потоковые данные (streaming);
- Контролировать качество загружаемых данных;
- Проводить код ревью
- Отвечать за оптимизацию, рефакторинг и поддержку решений
Ожидания от кандидата
- Понимание работы СУБД и принципов построения хранилищ данных;
- Опыт работы с Hadoop (Spark, HDFS, YARN etc.);
- Отличное знание SQL, Python/Scala/Java;
- 1+ опыт работы с облачными платформами Yandex Cloud Platform/ Azure/ AWS;
- Знание Git
- Английский на уровне intermediate и выше
Будет плюсом если ты:
- Работал с Docker, Kubernetes
- Знаешь Nifi, Kafka, Airflow;
Условия работы
- Конкурентная зарплата, система бонусов, ДМС и страхование жизни с первого рабочего дня
- Корпоративная пенсионная программа
- Компенсация питания
- Оплата мобильной связи
- Гибкий рабочий график
- Дополнительный оплачиваемый отпуск при стаже работы от 5 лет
- Насыщенная образовательная программа, которую формируете вы