Databaser kan korrumperas med olika fel som saknas, felaktiga eller inkonsekventa värden. Allt fler moderna dataanalysrörledningar involverar maskininlärning, och effekterna av smutsiga data kan vara svåra att felsöka. Smutsiga data är ofta sparsamma, och naiva provtagningslösningar lämpar sig inte för högdimensionella modeller. Vi föreslår ActiveClean, ett progressivt ramverk för träning Maskininlärning modeller med datarengöring. Vårt ramverk uppdaterar en modell iterativt som analytikern rensar små partier av data, och innehåller många optimeringar såsom viktning och smutsig data upptäckt. Vi designade ett visuellt gränssnitt för att linda runt detta ramverk och demonstrera ActiveClean för en video klassificering problem och ett ämne modellering problem.
ActiveClean tillhandahåller en progressiv datarengörande ram för statistisk modellering REF.
ActiveClean: An Interactive Data Cleaning Framework For Modern Machine Learning
{'venue': "SIGMOD '16", 'journal': None, 'mag_field_of_study': ['Computer Science']}