Как быстрее всего можно перебрать txt файл?
7.8кк ссылок во множестве — это чуть больше 1гб:In [1]: s = {f"https://something.asdfqwerasdfasfgqwefasdfasdf/{i}" for i in range(7748982)}                             

In [2]: import sys                                                                                                      

In [3]: sys.getsizeof(s)                                                                                                
Out[3]: 268435680

In [4]: sum(sys.getsizeof(x) for x in s)                                                                                
Out[4]: 797034036
Из первого файла читаешь множество ссылок:all_urls = set(open("lots.txt").read().splitlines())
Так же читаешь то, что уже сделано:done = set(open('nohup.txt').read().splitlines())
Пишешь разницу в файл:with open("upd_lots.txt", "w") as ul:
    for url in all_urls - done:
        ul.write(url + '\n')
На всё надо не более 3гб оперативки
7.8кк ссылок во множестве — это чуть больше 1гб:In [1]: s = {f"https://something.asdfqwerasdfasfgqwefasdfasdf/{i}" for i in range(7748982)}                             

In [2]: import sys                                                                                                      

In [3]: sys.getsizeof(s)                                                                                                
Out[3]: 268435680

In [4]: sum(sys.getsizeof(x) for x in s)                                                                                
Out[4]: 797034036
Из первого файла читаешь множество ссылок:all_urls = set(open("lots.txt").read().splitlines())
Так же читаешь то, что уже сделано:done = set(open('nohup.txt').read().splitlines())
Пишешь разницу в файл:with open("upd_lots.txt", "w") as ul:
    for url in all_urls - done:
        ul.write(url + '\n')
На всё надо не более 3гб оперативки