Likhet gå med är problemet med att hitta par av poster med likhet poäng större än någon tröskel. I den här artikeln studerar vi problemet med att skala upp likheten för olika metriska avståndsfunktioner med MapReduce. Vi föreslår ett ClusterJoin ramverk som partitionerar datautrymmet baserat på den underliggande datadistributionen, och distribuerar varje post till partitioner där de kan producera gå resultat baserat på distanströskeln. Vi designar en uppsättning starka kandidatfilter som är specifika för olika avståndsfunktioner med hjälp av ett nytt bisectorbaserat ramverk, så att varje post bara behöver distribueras till ett litet antal partitioner samtidigt som den garanterar korrekthet. För att ta itu med dataskewness, som är vanligt för data med hög dimension, utvecklar vi ytterligare ett dynamiskt lastbalanseringssystem med hjälp av provtagning, vilket ger starka probabilistiska garantier för storleken på partitioner, och avsevärt förbättrar skalbarheten. Experimentell utvärdering med hjälp av verkliga datamängder visar att vår strategi är betydligt mer skalbar jämfört med toppmoderna algoritmer, särskilt för högdimensionella data med låga avståndströsklar.
ClusterJoin REF partitionerar uppsättningarna och distribuerar partitionerna till olika noder.
ClusterJoin: A Similarity Joins Framework using Map-Reduce
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}