Klusterkoefficienten för en nod i ett socialt nätverk är en grundläggande åtgärd som kvantifierar hur tätt sammansvetsat samhället är runt noden. Dess beräkning kan minskas till att räkna antalet trianglar incident på den särskilda noden i nätverket. Om grafen är för stor för att passa in i minnet, är detta en icke-trivial uppgift, och tidigare forskare visade hur man kan uppskatta klusterkoefficienten i detta scenario. En annan forskningsväg är att utföra beräkningen parallellt och sprida den över många maskiner. Under de senaste åren har MapReduce utvecklats som ett de facto-programmeringsparadigm för parallell beräkning av massiva datamängder. Huvudfokus för detta arbete är att ge MapReduce algoritmer för att räkna trianglar som vi använder för att beräkna klusterkoefficienter. Våra bidrag är tvåfaldiga. Först beskriver vi en sekventiell triangelräkningsalgoritm och visar hur man anpassar den till MapReduce-inställningen. Denna algoritm uppnår en faktor på 10-100 hastighet upp över det naiva tillvägagångssättet. För det andra presenterar vi en ny algoritm som utformats speciellt för MapReduce-ramverket. Ett viktigt inslag i detta tillvägagångssätt är att det möjliggör en smidig avvägning mellan det minne som finns tillgängligt på varje enskild maskin och det totala minnet tillgängligt för algoritmen, samtidigt som det totala arbetet görs konstant. Dessutom kan denna algoritm använda alla triangelräkningsalgoritm som en svart låda och fördela beräkningen över många maskiner. Vi validerar våra algoritmer på verkliga datauppsättningar bestående av miljoner noder och över en miljard kanter. Våra resultat visar att båda algoritmerna effektivt hanterar skev i examensfördelningen och leder till dramatiska uppfarter över den naiva implementeringen.
Med hjälp av en MapReduce-infrastruktur föreslog REF algoritmer för beräkning av det exakta antalet trianglar och klustringskoefficienten för grafer.
Counting triangles and the curse of the last reducer
{'venue': 'In WWW', 'journal': None, 'mag_field_of_study': ['Computer Science']}