Получить total_page при парсинге?
в худшем случае подбором. Как в игре угадай число. Если вы загадываете число меньше чем номер конечной страницы - страница есть, если вы берете число больше чем конечная страница - такой страницы нет.
Вообще есть вариант как обойти заключи свой цикл в try except при не удаче просто ставишь break и все! и он перестает парсить то чего нету, это такой простой но рабочий вариант