Abstract-Mer och mer Internet-företag förlitar sig på storskalig dataanalys som en del av deras kärntjänster för uppgifter som logganalys, funktionsextraktion eller datafiltrering. Map-Reduce har genom sitt genomförande av Hadoop visat sig vara en effektiv modell för att hantera sådana uppgifter. En viktig utmaning när man gör en sådan analys är att förutsäga hur enskilda arbeten fungerar. I detta dokument föreslår vi en enkel ram för att förutsäga Hadoop-jobbens resultat. Det består av en dynamisk lättviktig Hadoop jobbanalysator, och en förutsägelse modul med hjälp av lokalt viktade regressionsmetoder. Vårt ramverk gör vissa teoretiska kostnadsmodeller mer praktiska och passar också bra för diversifiering av jobb och kluster. Det kan också hjälpa de användare som vill förutsäga kostnaden när du ansöker om en ondemand molntjänst. Till slut gör vi några experiment för att verifiera vårt ramverk.
Äntligen, Song et al.I metoden för att förutsäga Hadoop-jobbens prestanda med hjälp av lokalt viktade regressionsmetoder beaktas inte kostnaden för att utföra Hadoop-tillämpningar.
A Hadoop MapReduce Performance Prediction Method
{'venue': '2013 IEEE 10th International Conference on High Performance Computing and Communications & 2013 IEEE International Conference on Embedded and Ubiquitous Computing', 'journal': '2013 IEEE 10th International Conference on High Performance Computing and Communications & 2013 IEEE International Conference on Embedded and Ubiquitous Computing', 'mag_field_of_study': ['Computer Science']}