I detta dokument presenteras en MapReduce-algoritm för beräkning av parvis dokumentlikhet i stora dokumentsamlingar. MapReduce är ett attraktivt ramverk eftersom det gör det möjligt för oss att bryta ner de inre produkter som är involverade i beräkning av dokumentlikhet i separata multiplikations- och summeringsfaser på ett sätt som är väl matchat med effektiva diskåtkomstmönster över flera maskiner. På en samling bestående av cirka 900 000 newswire-artiklar uppvisar vår algoritm linjär tillväxt i körtid och utrymme i fråga om antal dokument.
Inledningsvis, i REF, introduceras en metod som fokuserar på en MapReduce algoritm för att beräkna parvis dokumentlikhet i stora dokumentsamlingar.
Pairwise Document Similarity in Large Collections with MapReduce
{'venue': 'Annual Meeting Of The Association For Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}