Как обработать огромный текстовый файл?
Используйте хэширование для данной задачи.
Пример легко адаптируемый под вашу задачу описан в самом начале книги: The D Programming Language.
Там очень просто. Я недавно нечто подобное делал, правда строк было не миллион а около 700 тыс.