Det finns ett ökande intresse för att utföra komplexa analyser över stora grafer, varav många kräver bearbetning ett stort antal multi-hop kvarter eller subgraphs. Exempel är ego nätverksanalys, motivräkning, hitta sociala cirklar, personliga rekommendationer, länk förutsägelse, anomali upptäckt, analysera påverkan kaskader, och andra. Dessa uppgifter är inte väl betjänade av befintliga vertex-centrerade grafbearbetningsramar, där användarprogram bara kan få direkt tillgång till tillståndet för en enda vertex i taget, vilket resulterar i hög kommunikation, schemaläggning och minnes overheads i utförandet av sådana uppgifter. Dessutom ignorerar de flesta befintliga grafbearbetningsramar utmaningarna i att extrahera relevanta delar av grafen som en analysuppgift är intresserad av, och laddar dem på distribuerat minne. Detta papper introducerar NScale, en ny end-to-end graf processing ram som möjliggör distribuerat utförande av komplexa subgraph-centrisk analys över storskaliga grafer i molnet. NScale gör det möjligt för användare att skriva program i nivå med subgrafer snarare än i nivå med hörn. Till skillnad från de flesta tidigare grafbearbetning ramar, som tillämpar användarprogrammet för hela grafen, NScale tillåter användare att deklarativt ange subgrafer av intresse. Vårt ramverk innehåller en ny graf extraktion och förpackning (GEP) modul som använder en kostnadsbaserad optimizer för att partitionera och packa in subgrafer av intresse i minnet på så få maskiner som möjligt. Den distribuerade exekveringsmotorn tar sedan över och kör användarprogrammet parallellt på dessa subgrafer, begränsar omfattningen av utförandet på lämpligt sätt, och använder nya tekniker för att minimera minnesförbrukningen genom att utnyttja överlappningar mellan subgraferna. Vi presenterar en omfattande B Abdul Quamar abdul@cs.umd.edu 1 University of Maryland, College Park, VD, USA empirisk utvärdering som jämför mot tre state-of-the-art system, nämligen Giraph, GraphLab, och GraphX, på flera verkliga datauppsättningar och en mängd analysuppgifter. Våra experimentella resultat visar order-of-magnitude förbättringar i prestanda och drastiska minskningar i kostnaden för analys jämfört med vertex-centriska metoder.
NScale REF är ett subgraph-centriskt grafbehandlingssystem.
NScale: neighborhood-centric large-scale graph analytics in the cloud
{'venue': 'The VLDB Journal', 'journal': 'The VLDB Journal', 'mag_field_of_study': ['Computer Science']}