Избавление от рекурсивного перехода при парсинге сайтов
А если попробовать фильтровать повторяющиеся переменные в адресе? т.е. на сайте из примера REQUESTED_FROM будет повторяться сколько угодно раз
Как только по URL определить что эта страница уже парсилась — не знаю. Как по контенту определить: можно, например, запоминать в базе хэш от HTML-кода страницы и потом при парсинге новой страницы смотреть, есть ли уже такой хэш в базе.