Как использовать цикл for в python итерируясь по «динамическому» списку?
Похоже, что тебе нужно два потока, связанных Queue. Один поток периодически парсит сайт, и складывает новые данные в queue, а воторой поток использует методы queue чтобы спать, пока не появятся новые данные, извлекать их и обрабатывать.
for используют когда известный размер массива, while - когда размер массива неизвестен.