Инженер данных

Data Office – подразделение, занимающееся монетизацией данных. Развиваем и поддерживаем ETL-процессы, выстраиваем Data Governance, поддерживаем BI, встраиваем ML модели в наш CRM, сайт и приложение, встраиваем ML модели в процессы Коммерции и Операций.

В Data Office сейчас 26 человек, включающие в себя дата-инженеров, дата-саентистов, разработчиков бекенда и фронта, аналитиков.

Что сделано на текущий момент:

- DWH on Oracle. Near 200 datamarts (понимаем что пора строить DataLake и есть его прототип)

- Airflow. Около 500 дагов. Как "Today-1" так и "near realtime"

- Другие ETL-системы (QlikSense, QlikView, windows batch, sas) с которыми нужно дружить (зависимые запуски)

- Clickhouse для хранения кликстрима

- Платформа персонализации: развернута архитектура, которая включает в себя Apache Hadoop + Spark + отдельный airflow + MLflow + redis + feast

Обязанности:

• разработка и поддержка потоков обработки данных на проект по персонализации сайта;

Требования:

Ищем в команду дата инженера, который будет заниматься поддержкой и созданием новых потоков данных для аналитических витрин. В основном - в складском бизнес-домене, чтобы у склада всегда была свежая информация о состоянии его систем и процессов;

• Мы ищем человека, который хочет не только писать работающий код, но и заинтересован в том, чтобы это приносило пользу конечному потребителю;
• Основной наш рабочий стек - это python3, который шедулится через airflow; в качестве базы используем Oracle, но допускаем перевод хранилища на другой движок через некоторое время. Рядышком живут: kafka как источник данных, clickhouse как хранилка части информации и желание сделать честный realtime.

Комфортные условия:

Для большинства коллег мы даем выбор: быть с нами полностью дистанционно или совмещать удаленку с уютным офисом;

Полный пакет ДМС;

Приятные скидки и бонусы от наших партнёров.

Неограниченные перспективы роста: и карьерного, и профессионального;

Нетривиальные задачи и открытость новому: в нашей команде поддерживаются идеи и почти всему даётся зеленый свет;

Конференции, внешнее и внутреннее обучение у ведущих провайдеров.

Сильная команда, готовая делиться опытом;

Внутрикомандные митапы;

Участие в кибертурнирах.

Высылайте резюме на почту, в телеграмм - любой удобный формат