Idag produceras en stor mängd data inom många områden, bland annat e-handel, sociala nätverk, finansiering, hälso- och sjukvård och utbildning. Denna ökning av datavolymen ökar följaktligen behovet av ett effektivt dataramverk för att behandla dessa data och omvandla dem till meningsfull information. Under de senaste åren har många distribuerade dataramar [1] [2] [3] [4] [5] [6] utvecklats för att utföra storskalig databehandling. MapReduce [2] (med dess genomförande med öppen källkod, Hadoop [7] ) är den mest använda ramen på grund av dess enkelhet, skalbarhet, effektivitet och tillförlitlighet. Det föreslogs av Google 2004 för att möjliggöra distribution och bearbetning av storskaliga data över ett kluster av råvarumaskiner. Ramen tar hand om distribuerat utförande, feltolerans, lastbalansering och arbetsplanering; därför behöver utvecklare och programmerare inte oroa sig för dessa frågor och kan helt enkelt utföra sina uppgifter. Det är sant att data aldrig är statiska; det fortsätter att växa och förändras med tiden. Nya uppgifter läggs till och gamla uppgifter kan antingen ändras eller raderas. Denna inkrementella karaktär av data motiverar utvecklingen av nya system för att utföra storskaliga databeräkningar stegvis. MapReduce introducerades nyligen för att tillhandahålla ett effektivt tillvägagångssätt för hantering av storskaliga databeräkningar. Det visade sig dock vara ineffektivt när det gällde att stödja behandlingen av små inkrementella uppgifter. Medan många tidigare system har utökat MapReduce att utföra iterativa eller inkrementella beräkningar, dessa system är fortfarande ineffektiva och för dyra för att utföra storskaliga iterativa beräkningar på att ändra data. I detta dokument presenterar vi ett nytt system som heter iiHadoop, en förlängning av Hadoop ramverk, optimerad för inkrementella iterativa beräkningar. iiHadoop påskyndar programutförandet genom att utföra inkrementella beräkningar på den lilla delen av data som påverkas av förändringar snarare än hela data. Dessutom, iiHadoop förbättrar prestandan genom att utföra iterationer asynkront, och använder locality-aware schemaläggning för kartan och minska uppgifter med hänsyn till inkrementellt och iterativ beteende. En utvärdering av den föreslagna iiHadoop-ramen presenteras med hjälp av exempel på iterativa algoritmer, och resultaten visade betydande prestandaförbättringar jämfört med jämförbara befintliga ramar.
IiHadoop-ramverket REF utvidgas [24] för att utföra lokal kriminalisering på en bråkdel av data som har förändrats, i stället för att fungera på hela data.
iiHadoop: an asynchronous distributed framework for incremental iterative computations
{'venue': 'Journal of Big Data', 'journal': 'Journal of Big Data', 'mag_field_of_study': ['Computer Science']}