Как организовать обработку большого файла?
Проще всего использовать файлы отображаемые в память, там уже за вас обо всем подумали.
mmap(платформо зависимо) или чтение файла кусками, если алгоритм позволяет.