Управление памятью при скролле JavaScript?
Гугли "javascript infinite scroll optimization". Куча решений проблемы схожей с твоей.
Генерируете внизу слои, удаляете сверху. Вместо верхник просто добавляете margin слоёв, чтобы выглядело реально со скролом. А реальный контет хранится у вас где-то в переменных.