I framväxande Big Data scenarier, få snabba, högkvalitativa svar på aggregerade frågor är svårt på grund av utmaningarna med behandling och rengöring av stora, smutsiga datamängder. För att öka hastigheten på frågebehandling har intresset för provtagningsbaserad ungefärlig frågebehandling (SAQP) ökat. I sin vanliga formulering behandlar dock SAQP inte datarengöring alls, och förvärrar i själva verket svar kvalitetsproblem genom att införa provtagningsfel. I den här artikeln utforskar vi en spännande möjlighet. Det vill säga, vi undersöker användningen av provtagning för att faktiskt förbättra svarskvaliteten. Vi introducerar ramen Sample-and-Clean, som tillämpar datarengöring för en relativt liten delmängd av data och använder resultaten av rengöringsprocessen för att minska inverkan av smutsiga data på aggregerade frågesvar. Vi får konfidensintervall som en funktion av urvalsstorlek och visar hur vårt tillvägagångssätt tar itu med felfördel. Vi utvärderar Sample-and-Clean-ramverket med hjälp av data från tre källor: TPC-H-riktmärket med syntetiskt buller, en delmängd av Microsofts akademiska citeringsindex och en sensordatauppsättning. Våra resultat stämmer överens med de teoretiska konfidensintervallen och tyder på att ramen Sample-and-Clean kan ge betydande förbättringar i noggrannhet jämfört med frågebehandling utan datarengöring och hastighet jämfört med datarengöring utan provtagning.
SampleClean Ref använde provtagning för att rengöra data för att förbättra kvaliteten på aggregerade resultat genom att minimera effekterna av smutsiga data.
A sample-and-clean framework for fast and accurate query processing on dirty data
{'venue': 'SIGMOD Conference', 'journal': None, 'mag_field_of_study': ['Computer Science']}