Как парсить новости с news.yandex и mail.ru на php
Как раз недавно я написал паук для яндекс новостей на scrapy и вполне успешно им пользуюсь.
Увы, объёмы у меня маленькие, поэтому я остановился на ручном вводе:body = html.fromstring(response.body)
# extract params
captcha = body.xpath('//*[@class="b-captcha__image"]/@src')[0]
key = body.xpath('//input[contains(@name, "key")]/@value')[0]
returl = body.xpath('//input[contains(@name, "retpath")]/@value')[0]
self.retpath = returl
# download captcha
try:
    os.remove(CAPTCHA_FILE)
except:
    pass
urllib.urlretrieve(captcha, CAPTCHA_FILE)
# show captcha
img = Image.open(CAPTCHA_FILE)
img.show()
# get captcha value
captcha_value = raw_input('Put captcha in manually> ')
насколько нужны частые запросы? кэшируйте на своей стороне данные, обновляйте раз в 5 мин, и будет вам счастье.