Det finns en växande tendens att utföra analyser av stora datauppsättningar med hjälp av arbetsflöden som består av MapReduce-jobb som är sammankopplade genom producent-konsumentrelationer baserat på data. Denna trend har sporrat utvecklingen av ett antal gränssnitt-från program-baserade till frågebaserade gränssnitt-för att generera MapReduce arbetsflöden. Studier har visat att skillnaden i prestanda kan vara ganska stor mellan optimerade och ooptimerade arbetsflöden. Den automatiska kostnadsbaserade optimeringen av MapReduce-arbetsflöden är dock fortfarande en utmaning på grund av de många gränssnitten, den stora storleken på genomförandeplanens utrymme och den frekventa bristen på all information som behövs för optimering. Vi introducerar ett omfattande planutrymme för MapReduce-arbetsflöden som genereras av populära arbetsflödesgeneratorer. Vi föreslår sedan Stubby, en kostnadsbaserad optimizer som söker selektivt genom subrymden i hela planen utrymme som kan räknas korrekt och kostnadsberäknas baserat på den information som finns tillgänglig i varje given inställning. Stubby räknar upp planutrymmet baserat på plan-to-plan transformationer och en effektiv sökalgoritm. Stubby är utformad för att vara extensibel till nya gränssnitt och nya typer av optimeringar, vilket är en önskvärd funktion med tanke på hur snabbt MapReduce-system utvecklas. Stubbys effektivitet och effektivitet har utvärderats med hjälp av representativa arbetsflöden från många domäner.
I Stubby-systemet REF föreslås en kostnadsbaserad optimerare för MapReduce-system.
Stubby: A Transformation-based Optimizer for MapReduce Workflows
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}