Python: как проверить URL на правильность?
Scrapy глохнет при скармливании ему неправильного URL. А вы пробовали к ресурсу, адресуемому этим URL, обратиться браузером? У меня открывается статья, с библиографическим номером 2002JIMO...30..199R. Более того, при помощи requests я получаю HTTP 200 в ответ на HEAD:>>> import requests
>>> response = requests.head('http://adsabs.harvard.edu/full/2002JIMO...30..199R')
>>> response
<Response [200]>
Есть мнение, что вы не до конца понимаете проблему, которую хотите решить. Предлагаю разобраться, почему Scrapy глохнет при скармливании ему неправильного URL (и так ли это вообще, может быть, эти явления не связаны). Может быть, сайт временно не работоспособен? Может быть, сервер вас (или ваш прокси) блокирует? Может быть, это ошибка Scrapy? 
Зафиксируйте URL и проверьте, всегда ли (при каких условиях) Scrapy его [не]корректно обрабатывает.
Проблему решил. Познакомился с функцией errback (альтернатива callback в Request запросах Scrapy).