Разработчик поискового робота

Контент-система – одна из важнейших компонент поиска Яндекса. Ее задача состоит в том, чтобы подготовить поисковую базу, на основании которой Яндекс отвечает на поисковые запросы. Поисковая база должна быть полной и свежей, поэтому контент-системе необходимо скачивать и отбирать для поиска самые качественные и полезные документы, причем делать это быстро и надежно. Для этих и смежных задач мы используем ряд алгоритмов статистического анализа и машинного обучения.

Нам необходим умный и активный разработчик, который поможет нам вывести эти алгоритмы на качественно новый уровень.

Что ожидает успешного кандидата:

- работа с важнейшей частью контент-системы - кроулером, высоконагруженной системой, работающей на сотнях серверов;

- сложные алгоритмические задачи;

- использование алгоритмов машинного обучения;

- работа c настоящим BigData (петабайты данных).

Требования:

- знание C++;

- хорошая математическая база;

- знание основных структур данных и алгоритмов;

- знание основ теории вероятностей и математической статистики.

Желательно:

- знание основ машинного обучения;

- опыт работы в *nix системах;

- опыт работы с распределенными базами данных.