Den senaste tidens framsteg i fråga om djupinlärning har gjort imponerande framsteg i fråga om klassificeringsnoggrannhet på en mängd olika typer av data, inklusive bilder och text. Trots dessa vinster har man dock uttryckt oro över kalibreringen, robustheten och tolkningsbarheten hos dessa modeller. I detta dokument föreslår vi ett enkelt sätt att ändra en konventionell djup arkitektur för att automatiskt ge mer öppna förklaringar till klassificeringsbeslut, samt en intuitiv uppfattning om trovärdigheten hos varje förutsägelse. Speciellt bygger vi på idéer från icke-parametrisk kärnregression, och föreslår att prediktera etiketter baserade på en viktad summa av träningsfall, där vikterna bestäms av avstånd i en inlärd instans inbäddning utrymme. Inom ramen för konforma metoder föreslår vi ett nytt mått på bristande överensstämmelse som föreslås av vår modell, och experimentellt validerar de åtföljande teoretiska förväntningarna, visar förbättrad transparens, kontrollerad felfrekvens, och robusthet till out-of-domain data, utan att kompromissa med noggrannhet eller kalibrering. • Datametoder → Övervakat lärande.
I REF föreslås en överensstämmelsebaserad metod för att beskriva en modellförutsägelse i termer av en viktad summa av utbildningsinstanser, där mätningen av bristande överensstämmelse är ett avstånd mellan det slutliga dolda tillståndet hos en neural klassificerare (före softmax).
Deep Weighted Averaging Classifiers
{'venue': 'Dallas Card and Michael Zhang and Noah A. Smith. Deep Weighted Averaging Classifiers. In Proceedings of FAT* (2019)', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}