Storskalig dataanalys ligger i kärnan i moderna företag och vetenskaplig forskning. I och med uppkomsten av molntjänster kan användningen av en infrastruktur för analytisk frågebehandling (t.ex. Amazon EC2) direkt kartläggas till penningvärde. MapReduce har varit en populär ram i samband med cloud computing, utformad för att tjäna långsiktiga frågor (jobb) som kan bearbetas i batch-läge. Med tanke på att olika arbeten ofta utför liknande arbete finns det många möjligheter att dela med sig. I princip minskar dela liknande arbete den totala mängden arbete, vilket kan leda till att minska de monetära avgifter som uppstår samtidigt som bearbetningsinfrastrukturen utnyttjas. I detta dokument föreslår vi en delningsram som är anpassad till MapReduce. Vårt ramverk, MRShare, omvandlar ett parti frågor till en ny sats som kommer att utföras mer effektivt, genom att slå samman jobb till grupper och utvärdera varje grupp som en enda fråga. Baserat på vår kostnadsmodell för MapReduce definierar vi ett optimeringsproblem och vi tillhandahåller en lösning som härleder den optimala grupperingen av frågor. Experiment i vår prototyp, byggd ovanpå Hadoop, visar den övergripande effektiviteten i vår strategi och betydande besparingar.
I REF föreslås också en kostnadsmodell för att hitta den optimala planen för sammanslagning av en grupp av frågor som visas i samma sats.
MRShare: Sharing Across Multiple Queries in MapReduce
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}