Vi studerar hur man bäst schemalägger skanningar av stora datafiler, i närvaro av många samtidiga förfrågningar till en gemensam uppsättning filer. Målet är att maximera den totala hastigheten av behandlingen av dessa filer, genom att dela skanningar av samma fil så aggressivt som möjligt, utan att införa otillbörlig väntetid på enskilda jobb. Detta schemaläggning problem uppstår i batch databehandling miljöer som Map-Reduce system, varav några hanterar tiotusentals förfrågningar om behandling dagligen, över en delad uppsättning filer. Som vi visar fungerar konventionella schemaläggningsmetoder som kortaste jobb först inte bra i närvaro av möjligheter att dela jobb. Vi får en ny familj av schemaläggningspolicyer som är särskilt inriktade på skuggbara arbetsbelastningar. Vår schemaläggning politik kretsar kring tanken att, allt annat lika, är det bra att schemalägga icke sharable skannar före dem som kan dela IO arbete med framtida jobb, om ankomsthastigheten av sharable framtida jobb förväntas vara hög. Vi utvärderar våra policyer via simulering över varierande syntetisk och verklig arbetsbelastning, och visar på betydande resultatvinster jämfört med konventionella schemaläggningsmetoder.
Agrawal m.fl. REF studera hur man schemalägger skanningar av stora datafiler när det finns många samtidiga förfrågningar till en gemensam uppsättning filer.
Scheduling shared scans of large data files
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}