Как максимально быстро удалить дубли в большом (350Гб) файле?
Быстро никак не получится
Готовоеsort \
--unique \
--parallel <threads count> -T /path/to/temp/dir/ /path/to/huge/file >>/out/file
Поставь на удаленной машине субд с ram 16gb
Сделайтам таблицу с уникальным полем
И долби своей машины вставками
Используйте последовательный проход с фильтрацией с помощью фильтра Блума.