Högnivådataparallella ramar, som MapReduce, förenklar utformningen och genomförandet av storskaliga databehandlingssystem, men de stöder inte naturligt eller effektivt många viktiga datautvinnings- och maskininlärningsalgoritmer och kan leda till ineffektiva inlärningssystem. För att fylla detta kritiska tomrum introducerade vi GraphLabs abstraktion som naturligt uttrycker asynkron, dynamisk, grafparallell beräkning samtidigt som datakonsistens och uppnå en hög grad av parallell prestanda i den delade minnesinställningen. I detta dokument utvidgar vi ramverket GraphLab till den betydligt mer utmanande distribuerade inställningen samtidigt som vi bevarar starka datakonsistensgarantier. Vi utvecklar grafbaserade tillägg till rörledningslåsning och dataversioner för att minska överbelastningen av nätet och minska effekten av nätverkslatens. Vi introducerar också feltolerans mot GraphLab-abstractionen med hjälp av den klassiska Chandy-Lamport-algoritmen för ögonblicksbilder och visar hur den enkelt kan implementeras genom att utnyttja själva GraphLab-abstractionen. Slutligen utvärderar vi vårt distribuerade genomförande av GraphLab abstraktion på en stor Amazon EC2 utbyggnad och visar 1-2 storleksordningar prestandavinster över Hadoop-baserade implementationer.
I Low et al. I REF presenteras ett distribuerat genomförande av GraphLabs abstraktion.
Distributed GraphLab: A Framework for Machine Learning and Data Mining in the Cloud