На каком языке писать сбор и обработку данных из web?
Python хорош в этом. Есть удобные инструменты для ваших целей: Scrapy, Grab.
Любой, в котором есть достаточная поддержка Интернета. На Delphi я бы попробовал использовать Indy (хорошей привязки cURL к Delphi нет; пробую это исправить, но дело идёт небыстро).