Data Engineer

Наша команда развивает Data-driven подход, собранные данные применяем для машинного обучения и аналитики. Меняем классический ритейл в digital. Мы гибкие. У нас высокая скорость принятия решений и полностью горизонтальная структура. Мы не говорим Big Data - говорим Data Value; не Batch, а Streaming. Не Legacy, а Open Source. Не OnPremise, а Cloud. Стек технологий: Nifi, Spark, Kafka, Greenplum, S3.

Обязанности:

• Создавать и улучшать процессы обработки данных
• Разрабатывать схемы подключения новых источников в DataLake
• Принимать участие в архитектурных решениях
• Разрабатывать процедуры формирования детального слоя данных и слоя витрин DataLake
• Реализовывать процессы CI/CD и мониторинга разработанных процессов обработки данных (Grafana, Prometheus)
• Писать manual и automated DQ тесты
• Документировать свою работу в Confluence

Требования:

• Знания принципов работы БД, построения ХД;
• Опыты работы разработки ETL процессов (SSIS, NiFi, Pentaho, Informatica, Spark);
• Имеет опыт работы с системами контроля версий (Git);
• Опыт работы с высоконагруженными распределенными системами хранения и обработки данных;
• Отличное знание SQL, опыт оптимизации запросов;
• Опыт самостоятельного ведения проектов, прямого общения с бизнесом;
• Желание обучаться и развиваться;
• Опыт разработки на Python\Scala или Java будет большим плюсом.

• Работа в стабильной компании-лидере DIY рынка с уникальной корпоративной культурой;
• Участие в конференциях вместе с нашей международной командой (Россия, Франция, Испания, Бразилия);
• Возможности для профессионального развития и изучения иностранных языков;
• Белую заработную плату и систему премирования;
• ДМС и социальный пакет;
• Компенсацию питания и мобильной связи.