Genom att känna till hur stora trafikflöden som passerar genom en nätverkslänk kan en nätoperatör karakterisera användningen av nätresurser, dra slutsatser om trafikbehov, upptäcka trafikavvikelser och tillgodose nya trafikbehov genom bättre trafikteknik. Tidigare arbete med att uppskatta flöde storleksfördelningen har fokuserats på att göra slutsatser från provade nätverkstrafik. Noggrannheten begränsas av den (vanligtvis) låga provtagningsfrekvens som krävs för att göra provtagningen överkomlig. I detta papper presenterar vi en ny dataströmningsalgoritm för att ge mycket mer exakta uppskattningar av flödesfördelning, med hjälp av en "förlust datastruktur" som består av en rad räknare monterade väl i SRAM. För varje inkommande paket behöver vår algoritm bara öka en underliggande räknare, vilket gör algoritmen tillräckligt snabb även för 40 Gbps (OC-768) länkar. Datastrukturen går förlorad i den meningen att storleken på flera flöden kan kollidera till samma räknare. Vår algoritm använder Bayesian statistiska metoder såsom Förväntning Maximering för att härleda den mest sannolika flöde storleksfördelning som resulterar i observerade motvärden efter kollision. Utvärderingar av denna algoritm på stora Internet spår som erhållits från flera källor (inklusive en nivå-1 ISP) visar att den har mycket hög mätnoggrannhet (inom 2%). Vår algoritm förbättrar inte bara flödesfördelningsmätningens noggrannhet dramatiskt, utan bidrar också till dataströmningen genom att formalisera en befintlig metod och tillämpa den i samband med uppskattningen av flödesdistributionen.
Medan entropin teoretiskt kan uppskattas från flödet storlek distribution REF, beräkning flöde storlek distribution konceptuellt ger mycket större funktionalitet än vad som krävs för en korrekt uppskattning av entropin.
Data streaming algorithms for efficient and accurate estimation of flow size distribution
{'venue': "SIGMETRICS '04/Performance '04", 'journal': None, 'mag_field_of_study': ['Computer Science']}