Создание робота-паука для сбора данных — где искать информацию?
Если вам не претит python-way, то Flask + BeautifulSoup + SQLAlchemyКнига посвященная вашему вопросуГайд по Flask на ХабреГайд по BeautifulSoup на русскомГайд по SQLAlchemy на русском
Мне хватило импортировать bs4 и забирать данные прямо в views.pyfrom flask import render_template
from urllib.request import urlopen 
from urllib.error import HTTPError
from bs4 import BeautifulSoup

@app.route("/links/")
def parse():
	try:
		html = urlopen("http://www.site.ru/").read()
	except HTTPError as e:
		print(e)

  soup = BeautifulSoup(html, 'lxml');
  links = soup.findAll('a')

  return render_template('template.html', links=links)
Приправьте алхимией для БД и почти готов RESTful микрсервис, либо достройте вокруг этого целое веб-приложение, Flask позволяет.
само это занятие называется web scraping или web harvesting, по этой теме инфы очень много в интернете.