Hadoop har blivit en attraktiv plattform för storskalig dataanalys. I detta dokument identifierar vi en stor prestanda flaskhals av Hadoop: dess brist på förmåga att colocate relaterade data på samma uppsättning av noder. För att övervinna denna flaskhals introducerar vi CoHadoop, en lätt förlängning av Hadoop som gör det möjligt för applikationer att kontrollera var data lagras. I motsats till tidigare metoder, CoHadoop behåller flexibiliteten i Hadoop i att det inte kräver användare att konvertera sina data till ett visst format (t.ex. en relationsdatabas eller ett specifikt filformat). Istället, program ger tips till CoHadoop att vissa uppsättningar filer är relaterade och kan behandlas gemensamt; CoHadoop försöker sedan att colocate dessa filer för förbättrad effektivitet. Vårt tillvägagångssätt är utformat så att Hadoops starka feltoleransegenskaper bibehålls. Colocation kan användas för att förbättra effektiviteten av många operationer, inklusive indexering, gruppering, aggregering, kolumnar lagring, går med, och sessionisering. Vi genomförde en detaljerad studie av anslutningar och sessioner i samband med loggbearbetning-ett vanligt användningsfall för Hadoop-, och föreslå effektiva kart-endast algoritmer som utnyttjar samlokaliserade datapartitioner. I våra experiment konstaterade vi att CoHadoop överträffar både vanligt Hadoop och tidigare arbete. I synnerhet, vårt tillvägagångssätt fungerar inte bara bättre än omdelning-baserade algoritmer, men också överträffar karta-endast algoritmer som utnyttjar data partitionering men inte colocation.
CoHadoop REF samlar in relaterade data på samma nod för att förbättra prestandan för vissa tillämpningar.
CoHadoop: Flexible Data Placement and Its Exploitation in Hadoop
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}