Den ökande efterfrågan på storskaliga tillämpningar för datautvinning och dataanalys har lett till att både industrin och den akademiska världen designat nya typer av mycket skalbara dataintensiva datorplattformar. MapReduce har haft särskild framgång. Men MapReduce saknar inbyggt stöd för iterativa program, som uppstår naturligt i många tillämpningar, inklusive datautvinning, webbrankning, grafanalys och modellmontering. Detta papper (Detta är en utökad version av VLDB 2010 papper "HaLoop: effektiv iterativ databehandling på stora kluster" PVLDB 3.1:285-296, 2010.) presenterar HaLoop, en modifierad version av Hadoop MapReduce ramverk, som är utformad för att tjäna dessa applikationer. HaLoop tillåter iterativa applikationer att monteras från befintliga Hadoop-program utan ändring, och avsevärt förbättrar deras effektivitet genom att tillhandahålla inter-iteration caching mekanismer och en loop-aware schemaläggare för att utnyttja dessa caches. HaLoop behåller feltoleransegenskaperna hos MapReduce genom automatisk cacheåterställning och aktivitetsåterställning. Vi utvärderade HaLoop på en mängd olika riktiga applikationer och verkliga dataset. Jämfört med Hadoop förbättrade HaLoop i genomsnitt gångtiderna med en faktor på 1,85 och blandade endast 4 % så mycket data mellan kartare och reduktionsmedel i de applikationer som vi testade.
HaLoop gör det möjligt att montera iterativa applikationer från befintliga MapReduce Hadoop-program REF.
The HaLoop approach to large-scale iterative data analysis
{'venue': 'The VLDB Journal', 'journal': 'The VLDB Journal', 'mag_field_of_study': ['Computer Science']}