Behovet av realtidsbehandling av "big data" har lett till utveckling av ramar för distribuerad strömbehandling i kluster. Det är viktigt att sådana ramar är robusta mot varierande driftsförhållanden såsom serverfel, förändringar i dataintagsfrekvens och arbetsbelastningsegenskaper. För att ge feltolerans och effektiv stream processing i stor skala, nyligen stream processing ramar har föreslagit att behandla streaming arbetsbelastningar som en serie batch jobb på små partier av strömmande data. Det har dock inte undersökts om sådana ramar är robusta i förhållande till varierande driftsförhållanden. I detta dokument undersöker vi effekterna av batchstorleken på prestandan av streaming arbetsbelastningar. Systemets genomströmning och end-to-end latency kan ha komplicerade samband med batchstorlekar, dataintagsfrekvens, variationer i tillgängliga resurser, arbetsbelastningsegenskaper, etc. Vi föreslår en enkel men robust kontrollalgoritm som automatiskt anpassar batchstorleken som situationen kräver. Vi visar genom omfattande experiment att det kan säkerställa systemstabilitet och låg latens för ett brett utbud av arbetsbelastningar, trots stora variationer i datahastighet och driftsförhållanden.
Med tanke på att batchstorlekar kan kraftigt påverka latency, Christopher Olston et al. REF föreslår en kontrollalgoritm som automatiskt anpassar batchstorleken för att få en låg latens, men den använder fortfarande mikrobatcher och latensen är högre än dataströmmen.
Adaptive Stream Processing using Dynamic Batch Sizing