Data Engineer
Требования
Местоположение и тип занятости
Компания
Мы строим DIY будущего
Описание вакансии
Условия работы
Наша команда развивает Data-driven подход, собранные данные применяем для машинного обучения и аналитики. Меняем классический ритейл в digital. Мы гибкие. У нас высокая скорость принятия решений и полностью горизонтальная структура. Мы не говорим Big Data - говорим Data Value; не Batch, а Streaming. Не Legacy, а Open Source. Не OnPremise, а Cloud. Стек технологий: Nifi, Spark, Kafka, Greenplum, S3.
Обязанности:
- Создавать и улучшать процессы обработки данных
- Разрабатывать схемы подключения новых источников в DataLake
- Принимать участие в архитектурных решениях
- Разрабатывать процедуры формирования детального слоя данных и слоя витрин DataLake
- Реализовывать процессы CI/CD и мониторинга разработанных процессов обработки данных (Grafana, Prometheus)
- Писать manual и automated DQ тесты
- Документировать свою работу в Confluence
Требования:
- Знания принципов работы БД, построения ХД;
- Опыты работы разработки ETL процессов (SSIS, NiFi, Pentaho, Informatica, Spark);
- Имеет опыт работы с системами контроля версий (Git);
- Опыт работы с высоконагруженными распределенными системами хранения и обработки данных;
- Отличное знание SQL, опыт оптимизации запросов;
- Опыт самостоятельного ведения проектов, прямого общения с бизнесом;
- Желание обучаться и развиваться;
- Опыт разработки на Python\Scala или Java будет большим плюсом.
Бонусы
- Работа в стабильной компании-лидере DIY рынка с уникальной корпоративной культурой;
- Участие в конференциях вместе с нашей международной командой (Россия, Франция, Испания, Бразилия);
- Возможности для профессионального развития и изучения иностранных языков;
- Белую заработную плату и систему премирования;
- ДМС и социальный пакет;
- Компенсацию питания и мобильной связи.