Как обработать 100 строк из 1000, а потом еще 100 и так далее пока не обработается вся тысяча строк в массиве?
Все расписано в подробностях
https://habrahabr.ru/sandbox/38469/
Генератором можно выплевывать по одной и сохранять.