Urllib2 в python: не получается получить страницу, как в таком случае перейти к следующей странице?
Если выдает исключение - ловите его try\except'ом, тогда программа не будет прерываться.
У вас есть 2 варианта:
1. Перед отправкой get-запроса отправлять head-запрос с целью проверить какой код вернется (в этом случае исключение не вызывается).
2. Ловить исключение отправки get-запроса, как сказал @SolidlSnake блоками try/except.
Довольно понятные примеры на оба этих варианта приведены вот здесь:
stackoverflow.com/a/16778473