Как спарсить сайт, который «вечно» не доступен?
1. Парсить однопоточно, чтобы дополнительно не нагружать сайт.
2. Поставить таймаут повыше.
3. Если страница недоступна - долбить её повторно, пока не скачается.
Долго будет парситься, но алгоритма другого нет.
Поискать в Архиве Всея Интернета
https://ru.wikipedia.org/wiki/%D0%90%D1%80%D1%85%D...