Как быстро сравнить два url?
tutunak И каждый из них я должен сравнить с 100 000 предыдущих (+ этот же файл будет увеличиваться с каждым появлением новых уникальных url).
Так-то в базах данных есть индексирование, они умеют строить деревья который оптимизируют поиск... 
>>Появилась мысль, что можно сравнивать хеши этих строк. 
Зачем писать велосипед если базы за вас это делают?
Судя по описанию, вам нужно сделать примитив в виде:x = []
for i in data.split(" "):
    if i not in x:
        x.append(i)