Как удалить дубли в большом (1,5Гб) файле?
www.textpad.com
единственный, кто можетf9 
sort, вроде, такое умел. Но он сортирует выходной файл. В принципе, 24ляма * 20 байт SHA1 - 480 Мб памяти под хэш каждой строки, так что можно смело на Питоне писать реализацию.