Описание вакансии
Условия работы
Есть текущая система парсеров, которая работает и парсит разные сайты.
Нужно развивать ее.
Подробно
- Это парсеры отзывов.
- Состоят из двух частей: ассоциатора и парсера
- Ассоциатор сравнивает по телефону, названию и тд фирмы из текущей БД, и БД на сайте (через форму поиска, к примеру)
- Парсер запускается регулярно и скачивает отзывы по данным фирмам
- Парсер работает из-под консоли (крон)
- Парсер пишет в БД статус текущей работы (обрабатываемый сайт, текущая фирма и сколько еще осталось)
- Парсер докачивает отзывы (заходит на фирму и скачивает только новые отзывы)
- Парсер проверяет отзывы на удаление (отдельный режим запуска) — исчезли с целевого сайта => помечаются удаленными и нас
- Парсер, при прерывании работы в результате сбоя, при запуске начинает с того места, где остановился.
Есть инструментарий (ООП, обертки к утилитам для скачивания), несколько готовых парсеров.
Оплата — от $250 до $1000 в месяц.
Базовая часть ЗП платится за поддержку текущей системы.
А сверху платится по факту сдачи новых парсеров в эксплуатацию.
Суммы обсуждаемы.
Преимущества — свободный график. Вы можете работать в любое время и любое количество часов в неделю.
Нужно только делать коммиты по факту работы в GitLab.
Дополнительные инструкции
Выполнение теста - до 30 минут.