Data Engineer

Требования

Бэкенд, Средний (Middle)PythonSQL

Местоположение и тип занятости

МоскваПолный рабочий день

Компания

Сервис объявлений, которым каждый месяц пользуется треть населения России

Описание вакансии

Условия работы

Мы бережём здоровье сотрудников, поэтому на время пандемии все команды перешли на работу из дома. Компания предоставляет технику для удалённой работы: ноутбуки, мониторы, модемы. Также мы даём доступ к софту для продуктивного взаимодействия в команде. А ещё компенсируем расходы на питание, чтобы сотрудники меньше скучали по бесплатным обедам в офисе.

Авито— самый популярный сайт объявлений в России. Мы входим в топ-5 площадок рунета, топ-3 мировых классифайдов, топ-3 самых дорогих компаний рунета. Каждый месяц на Авито бывает более 47 миллионов человек — это около четверти населения России. А чтобы просмотреть все активные объявления о товарах и услугах, понадобится 441 день!

Команда DWH создает платформу для решения любых аналитических задач, например:

  • проверить гипотезу на данных (с платформой регулярно работают и самостоятельно решают задачи больше 100 аналитиков, инженеров, продактов и десятки сервисов);
  • сделать отчет (ежедневно обновляются тысячи аналитических отчетов);
  • залогировать событие Clickstream (в хранилище их загружаются миллиарды ежедневно) и построить метрику (их уже почти 2000);
  • провести A/B тест (ежедневно проходят больше 100)«По нажатию кнопки» можно сделать уже многое, но впереди не меньше новых вызовов.

Примеры задач нашей команды:

  • создание web-интерфейсов для проверки гипотез, поиска данных и создания отчетов;
  • разработка умных систем алертинга и мониторинга;
  • поддержка и развитие инфраструктуры A/B тестирования (хотим видеть первые результаты через 15 минут);
  • разработка сервисов для экспорта данных и пересчетов витрин;
  • проведение обучений для пользователей (вовлекаем всех сотрудников в работу с данными);
  • ускорение обновления и отклика отчетов Tableau.

Основные технологии:

  • хранилище данных на Vertica (самая большая в России инсталляция - 376Тб);
  • отчетность на Tableau;
  • самописный ETL-фреймворк на Python;
  • web-интерфейсы на Python, Django, Node;
  • потоковая аналитика на Flink, ClickHouse.

Мы ожидаем, что вы:

  • отлично владеете SQL;
  • разрабатывали на Python;
  • имеете опыт работы с данными;
  • получили профильное техническое образование.

Не обязательно, но круто, если вы:

  • сталкивались с кластерными СУБД (HP Vertica);
  • понимаете, что такое хранилище данных;
  • работали с BI инструментами (особенно с Tableau).

    Работа у нас — это:

    • интересные и важные задачи на очень большом проекте;
    • передовые технологии и подходы, возможность пробовать новое;
    • опытные и заинтересованные коллеги, готовые оказать поддержку;
    • возможность приносить пользу миллионам пользователей, реализуя решения, основанные на данных;
    • возможность проходить обучение за счёт компании, участие во внутренних митапах, хакатонах, тренингах;
    • после возвращения к работе в офисе: красивый и комфортный офис в 2 минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы, зоны отдыха, гамаки и скейтборды.