Att utföra distribuerade går parallellt på beräkna kluster, systempartition och utbyta data register mellan arbetstagare. Med stora datamängder tillbringar arbetstagarna en avsevärd mängd tid med att överföra data över nätverket. När beräkningskluster delas mellan flera tillämpningar måste arbetstagarna konkurrera om nätverksbandbredd med andra tillämpningar. Dessa variationer i den tillgängliga nätverksbandbredden leder till nätverkskew, vilket gör att strypande arbetare förlänger tiden för inträdet. Vi beskriver EquirrelJoin, en distribuerad anslutning processteknik som använder lat partitionering för att anpassa sig till transienta nätverk skev i kluster. Arbetare upprätthåller i-minne lata partitioner för att hålla inne en delmängd av poster, d.v.s. inte omedelbart skicka dem till andra arbetstagare för bearbetning. Lazy-partitioner tilldelas sedan dynamiskt till andra arbetare baserat på nätverksförhållanden: varje arbetare tar periodiska genomströmningsmätningar för att uppskatta sin färdigställandetid, och lata partitioner fördelas för att minimera tiden för inträdet. Vi implementerar SquirrelJoin som en del av Apache Flink distribuerade dataflöde ramar och visar att, under transient nätverk strid i en delad compute kluster, SquirrelJoin snabbar upp gå slutföra tider med upp till 2,9× med endast en liten, fast overhead.
Som en lösning, Rupprecht et al. REF presenterade en SquirreJoin metod baserad på distribuerad anslutning processteknik med hjälp av lat partitionering där algoritmen hjälper till att anpassa sig till transienta nätverk skew i kluster.
SquirrelJoin: Network-Aware Distributed Join Processing with Lazy Partitioning
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}