Abstract-We studerar en ny lösning för att utföra aggregering (och specifikt COUNT) frågor över storskaliga data. Den föreslagna lösningen är allmänt tillämplig, i den meningen att den kan användas i miljöer där dataägare kan eller inte får begränsa tillgången till sina data och endast tillåta att "aggregeringsoperatörer" utförs över deras data. För detta är det baserat på prediktiv analys, driven av frågor och deras resultat. Vi föreslår ett ramverk för maskininlärning (ML) för uppgiften (som även kan anpassas för olika aggregat). Vi fokuserar på den allmänt använda set-cardinality (dvs. COUNT) aggregeringsoperatör, eftersom det är en grundläggande operatör för både interna optimeringar av datasystem och för aggregeringsanalys. Vi bidrar med en ny, frågedriven ML-modell vars mål är att: (i) lära sig frågerymden (åtkomstmönster), (ii) associera (komplex) aggregation frågor med kardinaliteten av deras resultat, (iii) definiera frågelikhet och använda den för att förutsäga kardinaliteten i svaret uppsättningen av en adhoc inkommande fråga. Vår ML-modell innehåller inkrementella inlärningsalgoritmer för att säkerställa hög förutsägelsenoggrannhet även när både frågemönster och underliggande data förändras. Betydelsen av bidrag ligger i att det (i) är den enda frågedrivna lösning som är tillämplig över allmänna miljöer som inkluderar data med begränsad tillgång, (ii) erbjuder inkrementell inlärning justerad för anlända ad-hoc frågor, som är väl lämpad för big data analytics, och (iii) erbjuder en prestanda (i termer av förutsägelse noggrannhet och tid, och minneskrav) som är överlägsen data-centric metoder. Vi tillhandahåller en omfattande prestandautvärdering av vår modell och utvärderar dess känslighet och komparativa fördelar jämfört med hyllade datacentriska metoder (självstuderande histogram, provtagning och flerdimensionella histogram).
Baserat på skalbarheten och effektiviteten i detta tillvägagångssätt generaliserar vi ytterligare vår modell i REF och implementerar generaliserade ML-algoritmer inom det mest populära big datasystemet, Spark.
Learning to accurately COUNT with query-driven predictive analytics
{'venue': '2015 IEEE International Conference on Big Data (Big Data)', 'journal': '2015 IEEE International Conference on Big Data (Big Data)', 'mag_field_of_study': ['Computer Science']}