Парсинг сайта Python + Beautifulsoup. Ждущий паук?
Можно использовать такую либу.
Пример:import schedule
import time

def job():
    print("I'm working...")

schedule.every(10).minutes.do(job)
schedule.every().hour.do(job)
schedule.every().day.at("10:30").do(job)
schedule.every().monday.do(job)
schedule.every().wednesday.at("13:15").do(job)
schedule.every().minute.at(":17").do(job)

while True:
    schedule.run_pending()
    time.sleep(1)
Здесь нужен Selenium WebDriver и его "ожидания"хабр