Att hitta liknande användarpar är en grundläggande uppgift i sociala nätverk, med många applikationer i rankning och personalisering uppgifter såsom länk förutsägelse och binda styrka upptäckt. En gemensam manifestation av användarlikhet bygger på nätverksstruktur: varje användare representeras av en vektor som representerar användarens nätverksanslutningar, där parvis cosinuslikhet mellan dessa vektorer definierar användarlikhet. Den dominerande uppgiften för användare likhet program är att upptäcka alla liknande par som har en parvis cosinus likhet värde större än en given tröskel τ. I motsats till tidigare arbete där τ antas vara ganska nära 1 fokuserar vi på rekommendationer där τ är liten, men ändå meningsfull. De alla par cosinus likhet problem är beräkningsmässigt utmanande på nätverk med miljarder kanter, och särskilt så för inställningar med små τ. Såvitt vi vet finns det ingen praktisk lösning för att beräkna alla användare par med, säger τ = 0.2 på stora sociala nätverk, även med hjälp av kraften i distribuerade algoritmer. Vårt arbete tar direkt itu med denna utmaning genom att införa en ny algoritm -WHIMP - som löser detta problem effektivt i MapReduce-modellen. Den viktigaste insikten i WHIMP är att kombinera "wedge-sampling" tillvägagångssätt Cohen-Lewis för ungefärlig matris multiplikation med SimHash slumpmässiga projektion tekniker Charikar. Vi tillhandahåller en teoretisk analys av WHIMP, som visar att den har nära optimala kommunikationskostnader samtidigt som beräkningskostnaderna är jämförbara med den senaste tekniken. Vi visar också empiriskt WHIMP skalbarhet genom att beräkna alla mycket liknande par på fyra massiva datamängder, och visar att det exakt finner hög likhet par. Vi noterar särskilt att WHIMP framgångsrikt bearbetar hela Twitter-nätverket, som har tiotals miljarder kanter.
Ett annat relevant resultat är kilprovtagningsmetoden i REF.
When Hashes Met Wedges: A Distributed Algorithm for Finding High Similarity Vectors
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}