Как вытаскивать ссылки с сайта, с помощью питона?
Сделайте парсер ссылок с помощью Beautiful Soup.
Передавайте новые ссылки в urlopen.
Можно набросать скрипт ручками, через requests и BS4, но лучше использовать прекрасный инструмент, который советуют люди выше: Scrapy Ссылка на довольно неплохой пошаговый туториал