Aggregeringsfrågor är kärnan i affärsintelligens och dataanalys. I big data eran, många skalbara sharedinging system har utvecklats för att behandla aggregering frågor över massiv mängd data. Microsofts RÄCKVIDD är ett välkänt exempel i denna kategori. Icke desto mindre är aggregeringsförfrågningar fortfarande dyra, eftersom frågebehandling behöver konsumera hela datamängden, som ofta är hundratals terabyte. Dataprovtagning är en teknik som tar prov på en liten del av data för att bearbeta och returnera ett ungefärligt resultat med ett fel som är bundet, vilket minskar frågans genomförandetid. Även om liknande problem undersöktes i databaslitteraturen, stötte vi på nya utmaningar som inaktiverar de flesta tidigare ansträngningar: (1) Felgränser dikteras av slutanvändare och kan inte äventyras, (2) data är glesa, vilket innebär att data har en begränsad befolkning men ett brett spektrum. I sådana fall ger konventionella enhetliga provtagningar ofta en hög provtagningsfrekvens och ger därför begränsade eller inga resultatvinster. I detta dokument föreslår vi felbunden stratifierad provtagning för att minska provstorleken. Tekniken bygger på insikten att vi endast kan minska provtagningshastigheten med kunskap om datadistributioner. Tekniken har implementerats i Microsoft interna sökfrågan plattform. Resultaten visar att den föreslagna metoden kan minska upp till 99 % urvalsstorlek jämfört med enhetlig provtagning, och dess prestanda är robust mot datavolym och andra viktiga prestandamått.
Författarna i REF med kunskap om datadistribution använder felbunden stratifierad provtagning och kan minska provstorleken.
Error-bounded Sampling for Analytics on Big Sparse Data
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}