Data Engineer в команду Analytics Platform

Мы — команда хранилища данных Авито. У нас есть более сотни внутренних и внешних систем, из которых получаем данные. Мы строим отчетность, помогаем бизнесу проверять гипотезы и принимать решения, а также выбирать эффективные способы достижения целей, основанные на этих данных.

Наша цель — сделать так, чтобы новичок мог самостоятельно без помощи инженеров находить ответы в данных и настраивать новые пайплайны обработки данных под свои цели.

Мы ежедневно обрабатываем десятки тысяч заданий на загрузку и расчет данных и запросы сотен потребителей.

Наш вызов — обеспечить отзывчивость и надежность работы нашей инфраструктуры при постоянно растущей нагрузке.

Примеры будущих задач:

Сейчас ищем сильного инженера, который поможет нам построить инструменты, позволяющие любому человеку самостоятельно находить ответы в данных и решать свои задачи без оглядки на дата инженеров.

Нам предстоит сделать следующий шаг в построении юзер центричной экосистемы, в которой человек может совершать ошибки без вреда другим пользователям, находить и загружать нужные ему данные, делать крутые дата приложения.

Наша задача - взять лучшее из методологии централизованного хранилища данных и методологии data mesh и изменить текущую модель распределения ресурсов в DWH.

Мы ждём, что вы:

• знаете и умеете писать на Python;
• проектировали или отвечали за компоненты систем обработки данных;
• имеете опыт работы с данными/решали аналитические задачи.

Будет здорово, если вы:

• работали с кластерными СУБД (Vertica, Snowflake, Clickhouse, Star rocks, Trino и др.);
• понимаете, что такое хранилище данных;
• работали с инструментами интеграции данных (data bricks, dbt, ksql);
• вам не безразличен пользовательский опыт при работе с данными.

Работа у нас — это:

— интересные и важные задачи на очень большом проекте;

— передовые технологии и подходы, возможность пробовать новое;

— опытные и заинтересованные коллеги, готовые оказать поддержку;

— возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных;

— личный бюджет на обучение, который можно тратить на книги, курсы и конференции;

— забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист;

— возможность работать удаленно и по желанию посещать комфортный офис в Москве или Санкт-Петербурге.