Abstract-djupa neurala nätverk (DNNs) möjliggör innovativa tillämpningar av maskininlärning som bildigenkänning, maskinöversättning, eller malware upptäckt. Men djupt lärande kritiseras ofta för dess brist på robusthet i kontradiktoriska miljöer (t.ex. sårbarhet för kontradiktoriska ingångar) och allmän oförmåga att rationalisera sina förutsägelser. I detta arbete utnyttjar vi strukturen för djupt lärande för att möjliggöra nya lärandebaserade slutsatser och beslutsstrategier som uppnår önskvärda egenskaper såsom robusthet och tolkningsbarhet. Vi tar ett första steg i denna riktning och introducerar Deep k-Nearest Grannarna (DkNN). Denna hybrid classifier kombinerar k-nearest grannar algoritm med representationer av de data som lärts av varje skikt av DNN: en testingång jämförs med dess angränsande träningspunkter enligt det avstånd som skiljer dem i representationerna. Vi visar etiketterna på dessa närliggande punkter ger förtroende uppskattningar för indata utanför modellens utbildningsgrenrör, inklusive på skadliga indata som kontradiktoriska exempel och däri ger skydd mot indata som är utanför modellerna förståelse. Detta beror på att de närmaste grannarna kan användas för att uppskatta den bristande överensstämmelsen av, dvs. bristen på stöd för, en förutsägelse i träningsdata. Grannarna utgör också mänskliga-tolkbara förklaringar av förutsägelser. Vi utvärderar DkNN-algoritmen på flera datauppsättningar, och visar förtroendeuppskattningarna exakt identifiera indata utanför modellen, och att de förklaringar som ges av närmaste grannar är intuitiva och användbara för att förstå modellfel.
Vår modell är mer lik den djupa k-nearest granne (k-NN) modell infördes i REF.
Deep k-Nearest Neighbors: Towards Confident, Interpretable and Robust Deep Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}