Сел наконец за скрейпер.

Плюнул на всякие архитектурные изыски.

Захардкодил всё, никаких БД, всё в памяти.
Убил 2 часа на то чтобы заново найти api который неделю назад нашел за 10 минут.
Оказалось просто, сайт уебанский, api запрашивется при отправке формы, но не при перезагрузке страницы.

Спасибо модным тенденциям. Ответ приходит в Json который одно удовольствие парсить. Это вам не html.

Вроде более-менее работает. Скрейпим с рандомным интервалом в 5 - 20 сек.
Завтра допишу быстренько рассылатель мыла (дело 10 минут, отправить мессадж для RabbitMQ, там уже стоит готовый обработчик (спасибо поцикам с работы))

и мне на почту будет всё быстренько приходить.

Добавить еще рандомизатор юзер агента и было бы вообще шикарно.

Все, надо идти спать. Завтра с утра митинг.

В бассейн как обычно я хрен попаду.

ЗЫ
Вчера дошел до бассика, а там какие-то соревнования и миллион детей. Ушел домой с надеждой прийти через час и так и не дошел.