I detta dokument studerar vi partitionering funktioner för stream processing systems som använder stateful data parallellism för att förbättra applikationsgenomströmning. I synnerhet utvecklar vi partitioneringsfunktioner som är effektiva under arbetsbelastningar där partitioneringsnyckelns domän är stor och dess värdefördelning är skev. Vi definierar olika önskvärda egenskaper för separationsfunktioner, allt från balansegenskaper såsom minne, bearbetning och kommunikationsbalans, strukturella egenskaper såsom kompaktitet och snabb uppslagning, och anpassningsegenskaper såsom snabb beräkning och minimal migration. Vi introducerar en partitionerande funktionsstruktur som är kompakt och utvecklar flera tillhörande heuristiska konstruktionsmetoder som uppvisar god balans och låga migrationskostnader under skev arbetsbelastning. Vi tillhandahåller experimentella resultat som jämför våra delningsfunktioner med mer traditionella tillvägagångssätt såsom enhetlig och konsekvent hashing, under olika arbetsbelastning och applikationsegenskaper, och visar överlägsen prestanda.
Det första problemet har undersökts genom att förlita sig på effektiva konsekventa hashfunktioner REF som möjliggör god belastningsbalans och låga migreringskostnader under skev arbetsbelastning.
Partitioning functions for stateful data parallelism in stream processing
{'venue': 'The VLDB Journal', 'journal': 'The VLDB Journal', 'mag_field_of_study': ['Computer Science']}