I detta dokument strävar vi efter att möjliggöra både effektiva och korrekta approximationer av godtyckliga deldatamängder i en stor datauppsättning. På grund av den oöverkomliga lagringen av caching offline-prover för varje deldatauppsättning ger befintliga offline-provbaserade system hög noggrannhet för endast ett begränsat antal deldataset, t.ex. de populära. Å andra sidan tar de nuvarande online-provbaserade approximeringssystemen, som genererar prover vid drifttidpunkten, inte hänsyn till den ojämna lagringsdistributionen av en deldatauppsättning. De fungerar bra för en enhetlig distribution av en deldatauppsättning samtidigt som de har låg provtagningseffektivitet och dålig skattningsnoggrannhet på ojämnt fördelade deldataset. För att ta itu med problemet utvecklar vi en distributionsmedveten metod som kallas S ungefär. Vår idé är att samla in förekomster av en deldatauppsättning vid varje logisk partition av en datauppsättning (lagringsdistribution) i det distribuerade systemet, och använda sådan information på ett bra sätt för att underlätta provtagning online. Det finns tre dragkrafter i Sca. För det första utvecklar vi en probabilistisk karta för att minska det exponentiella antalet registrerade deldataset till en linjär. För det andra tillämpar vi klusterprovtagningen med ojämlik sannolikhetsteori för att genomföra en distributionsmedveten provtagningsmetod för effektiv online-deldatasetprovtagning. För det tredje härleder vi kvantitativt den optimala provtagningsenhetens storlek i ett distribuerat filsystem genom att koppla den till approximeringskostnader och noggrannhet. Vi har implementerat S ungefär i Hadoops ekosystem som ett exempelsystem och öppnat det på GitHub. Våra omfattande experimentella resultat visar att S ungefär kan uppnå en hastighetshöjning med upp till 20× över den exakta utförandet.
Scaf samlar in förekomster av deldataset i förbehandling offline och använder dem för att köra online-provtagning.
Sapprox: Enabling Efficient and Accurate Approximations on Sub-datasets with Distribution-aware Online Sampling
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}