Как дождаться полной загрузки страницы на Selenium python?
from selenium.webdriver.support import expected_conditions as ec

element = WebDriverWait(driver, 10).until(ec.presence_of_element_located((By.TAG_NAME, "html")))
Вставьте строку с element перед строкой new_page = driver.find_element_by_tag_name('html')
Пока страница не загрузится выполнение кода не продолжиться.
Можно отслеживать состояние документа через document.readyState
Когда страница в процессе загрузки, эта проперти будет loading
Когда страница загрузится - complete
(с) https://www.w3schools.com/jsref/prop_doc_readystate.asp