Senior Data Engineer

Авито — самый популярный сервис объявлений в Европе, каждый месяц сайтом и приложением пользуются более 30 миллионов человек. Мы находимся на третьем месте в рейтинге самых дорогих российских интернет-компаний. Наша система модерации на основе машинного обучения и компьютерного зрения обрабатывает сотни тысяч новых объявлений в день.

Команда DWH занимается развитием и поддержкой хранилища данных, которое построено на базе HP Vertica. В год в наше хранилище поступает порядка 2.5 петабайт (!) сырых данных, при этом само хранилище занимает всего около 200 терабайт.
Вместе с талантливой командой аналитиков мы разрабатываем алгоритмы интеллектуальной обработки больших объемов данных, необходимых для решения важных продуктовых задач.

В Авито вы будете работать над продуктом, которым пользуются все вокруг — друзья, семья, знакомые. Мы ищем разработчика Senior Data Engineer в проект, который напрямую влияет на принятие стратегических решений на уровне компании, а также на развитие коммерческого успеха Авито.

Мы ожидаем, что вы:

• отлично владеете Python и SQL;
• имеете опыт работы с большими объемами данных;
• понимаете, что такое хранилище данных;
• можете самостоятельно находить решение для реализации продуктовых инициатив.

Будет здорово, если вы:

• работали с Python 3 и asyncio;
• работали с кластерными СУБД (HP Vertica);
• реализовывали системы регулярного обхода различных ресурсов в интернете и извлечения из них структурированной информации;
• получили профильное техническое образование.

Вам предстоит:

• руководить технической частью проекта: оценивать и планировать решение продуктовых инициатив;
• разрабатывать системы регулярного обхода различных ресурсов в Интернете и извлечения из них структурированной информации;
• разрабатывать и внедрять алгоритмы интеллектуальной обработки больших объемов данных на SQL;
• профессионально развивать инженеров команды.

Работа у нас — это:

• команда профессионалов, готовых поддержать ваши инициативы;
• мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы;
• открытость для профессионального сообщества: мы делимся разработками на GitHub, рассказываем об опыте решения задач в блоге на Habr;

• обучение за счёт компании: мы оплачиваем участие в российских и международных конференциях, профильные курсы и доступ к онлайн-библиотеке МИФ, покупаем нужную сотрудникам литературу;

• красивый и комфортный офис в 2 минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы, зоны отдыха, гамаки и скейтборды;
• бесплатные обеды, фрукты и вечерние сэндвичи каждый день, а по пятницам ещё и завтраки;
• забота о здоровье: с первого дня работы вы получите страховку со стоматологией, в офисе ведут приём терапевт, психолог и массажист;
• прозрачная система бонусов и премий, достойная зарплата — размер обсудим на собеседовании.