I detta dokument introduceras ett nytt tillvägagångssätt för att bygga distribuerade grafanalyssystem som utnyttjar heterogenitet i processorer (CPU och GPU), partitioneringsstrategier och programmeringsmodeller. Nyckeln till detta är Gluon, ett kommunikationsoptimerande substrat. Programmerare skriver applikationer i en delad minnesprogrammeringssystem som de väljer och interface dessa program med Gluon med hjälp av en lätt API. Gluon gör det möjligt för dessa program att köra på heterogena kluster och optimerar kommunikationen på ett nytt sätt genom att utnyttja strukturella och tidsmässiga invarianter av grafpartitionspolicyer. För att demonstrera Gluon förmåga att stödja olika programmeringsmodeller, har vi gränssnittet Gluon med Galois och Ligra delade-minne grafanalyssystem för att producera distribuerade-minnesversioner av dessa system som heter DGalois respektive D-Ligra. För att demonstrera Gluons förmåga att stödja heterogena processorer har vi kopplat samman Gluon med IrGL, ett toppmodernt single-GPU-system för * Båda författarna bidrog lika mycket. Tillstånd att göra digitala eller papperskopior av hela eller delar av detta arbete för personligt bruk eller klassrum beviljas utan avgift, förutsatt att kopiorna inte görs eller distribueras för vinst eller kommersiella fördelar och att kopiorna är försedda med detta meddelande och den fullständiga hänvisningen på första sidan. Upphovsrätt till delar av detta verk som ägs av andra än ACM måste hedras. Abstraktering med kredit är tillåten. För att kopiera på annat sätt, eller återpublicera, för att posta på servrar eller för att omfördela till listor, krävs tidigare specifik behörighet och/eller avgift. Begär tillstånd från authoritys@acm.org. Grafanalys, för att producera D-IRGL, det första distribuerade multi-GPU-grafikanalyssystemet. Våra experiment gjordes på CPU kluster med upp till 256 värdar och ungefär 70.000 trådar och på multi-GPU kluster med upp till 64 GPUs. Kommunikationsoptimering i Gluon förbättra end-to-end program exekveringstid med  på 2,6× i genomsnitt. D-Galois och D-IrGL skalan väl och är snabbare än Gemini, den state-of-the-art distribuerade CPU-graf analytics system, av faktorer av  med 3,9× respektive  till 4,9×, i genomsnitt.
Intel Optane DC PMM ökar mängden tillgängligt minne till delade minnesgrafikbehandlingssystem, och vår utvärdering visar att algoritmer som körs med Intel Optane DC PMM är konkurrenskraftiga eller bättre än D-Galois REF, ett toppmodernt distribuerat grafanalyssystem.
Gluon: a communication-optimizing substrate for distributed heterogeneous graph analytics
{'venue': 'PLDI 2018', 'journal': None, 'mag_field_of_study': ['Computer Science']}