Prediktiva modeller baserade på maskininlärning kan vara mycket känsliga för datafel. Utbildningsdata kombineras ofta från en mängd olika källor, var och en mottaglig för olika typer av inkonsekvenser, och eftersom nya data strömmar in under förutsägelsetiden, kan modellen stöta på tidigare osedda inkonsekvenser. En viktig klass av sådana inkonsekvenser är intrång i domänvärde som inträffar när ett attributvärde ligger utanför en tillåten domän. Vi undersöker automatiskt att upptäcka och reparera sådana överträdelser genom att utnyttja de ofta tillgängliga rena testetiketterna för att avgöra om en given detekterings- och reparationskombination kommer att förbättra modellens noggrannhet. Vi presenterar BoostClean som automatiskt väljer en ensemble av feldetektering och reparationskombinationer med statistisk förstärkning. BoosterClean väljer denna ensemble från ett extensibelt bibliotek som är förbefolkade allmänna detektionsfunktioner, inklusive en ny detektor baserad på Word2Vec djupinlärning modell, som upptäcker fel över en mängd olika domäner. Vår utvärdering av en samling av 12 dataset från Kamgle, UCI-arkivet, verkliga dataanalyser och produktionsdataset som visar att BoostClean kan öka den absoluta förutsägelsenoggrannheten med upp till 9 % jämfört med de bästa icke-ensemblede alternativen. Våra optimeringar inklusive parallellism, materialisering och indexering tekniker visar en 22,2× end-to-end speedup på en 16-core maskin.
BoostClean väljer automatiskt en ensemble av feldetektering och reparationskombinationer med hjälp av statistisk ökning av REF.
BoostClean: Automated Error Detection and Repair for Machine Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}