Undersökande big data-applikationer körs ofta på råa ostrukturerade eller halvstrukturerade dataformat, såsom JSON-filer eller textloggar. Dessa applikationer kan spendera 80-90% av sin exekveringstid med att tolka data. I detta dokument föreslår vi ett nytt tillvägagångssätt för att minska dessa omkostnader: tillämpa filter på datans råa byteström före tolkning. Denna teknik, som vi kallar rå filtrering, utnyttjar egenskaperna hos modern hårdvara och den höga selektiviteten hos frågor som finns i många undersökande applikationer. Med råfiltrering sammanställs en användarspecifik frågepredikat till en uppsättning filtrerande primitiver som kallas råfilter (RF). RF är snabba, SIMD-baserade operatörer som ibland ger falska positiva, men aldrig falska negativa. Vi kombinerar flera RFs till en RF kaskade för att minska den falska positiva hastigheten och maximera tolkning genomströmning. Eftersom den bästa RF-kaskaden är databeroende, föreslår vi en optimizer som dynamiskt väljer kombinationen av RFs med bästa förväntade genomströmning, uppnå inom 10% av den globala optimala kaskaden samtidigt lägga mindre än 1,2% overhead. Vi implementerar dessa tekniker i ett system som heter Sparser, som automatiskt hanterar en tolkningskaskade givet en dataström i ett format som stöds (t.ex. JSON, Avro, Parquet) och en användarfråga. Vi visar att många verkliga tillämpningar är mycket selektiva och drar nytta av Sparser. Genom olika arbetsbelastningar accelererar Sparser toppmoderna tolkar som Mison med upp till 22× och förbättrar prestanda end-to-end program med upp till 9×.
Palkar m.fl. föreslå en teknik som kallas råfiltrering och som tillämpas på datans råa byteström före tolkning av REF.
Filter Before You Parse: Faster Analytics on Raw Data with Sparser
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}