Den ökande efterfrågan på storskaliga tillämpningar för datautvinning och dataanalys har lett till att både industrin och den akademiska världen designat nya typer av mycket skalbara dataintensiva datorplattformar. MapReduce och Dryad är två populära plattformar där dataflödet tar formen av en riktad acyklisk graf av operatörer. Dessa plattformar saknar inbyggt stöd för iterativa program, som uppstår naturligt i många tillämpningar inklusive datautvinning, webbrankning, grafanalys, modellmontering, och så vidare. Detta dokument presenterar HaLoop, en modifierad version av Hadoop MapReduce ramverk som är utformad för att tjäna dessa tillämpningar. HaLoop utökar inte bara MapReduce med programmeringsstöd för iterativa applikationer, det förbättrar också dramatiskt deras effektivitet genom att göra aktivitet schemaläggaren loop-aware och genom att lägga till olika caching mekanismer. Vi utvärderade HaLoop på verkliga frågor och verkliga datauppsättningar. Jämfört med Hadoop minskar HaLoop i genomsnitt frågetiderna med 1,85 och blandar endast 4 % av data mellan kartare och reducerare.
HaLoop REF, en modifierad version av Hadoop, förbättrar effektiviteten i iterativa beräkningar genom att göra aktivitet schemaläggaren loop-aware och använder caching mekanismer.
HaLoop: Efficient Iterative Data Processing on Large Clusters
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}