Djupa Neurala nätverk är kraftfulla modeller som uppnådde anmärkningsvärda resultat på en mängd olika uppgifter. Dessa modeller visas vara extremt effektiva när tränings- och testdata hämtas från samma distribution. Det är dock oklart hur ett nätverk kommer att agera när det får ett exempel på utanför distributionen. I detta arbete överväger vi problemet med att upptäcka utanför distributionen i neurala nätverk. Vi föreslår att använda flera semantiska täta representationer istället för gles representation som måletikett. Specifikt föreslår vi att använda flera ord representationer som erhållits från olika korpora eller arkitekturer som måletiketter. Vi utvärderade den föreslagna modellen på datorseende, och talkommandon detektion uppgifter och jämförde den med tidigare metoder. Resultaten tyder på att vår metod är fördelaktig i jämförelse med tidigare arbeten. Dessutom presenterar vi effektiviteten i vår strategi för att upptäcka felaktigt klassificerade och kontradiktoriska exempel. Nyligen föreslog flera studier olika metoder för att hantera denna osäkerhet [13, 25, 23, 19]. I [13] författarna föreslog en basmetod för att upptäcka out-of-distribution exempel baserade på modellernas utdata sannolikheter. Arbetet i [25] förlängde baslinjemetoden genom att använda temperaturskalning av softmax-funktionen och lägga små kontrollerade perturbationer till ingångar [14]. I [23] föreslogs att ytterligare en term skulle läggas till förlusten för att minimera skillnaden mellan Kullback-Leibler (KL) mellan modellernas out-of-distributionsprover och den enhetliga fördelningen. Ensemble of classifiers with facultive adversarial training föreslogs i [19] för att upptäcka out-of-distribution exempel. Trots deras höga detektionshastighet kräver ensemblemetoder optimering av flera modeller och är därför resursintensiva. Dessutom tränas var och en av dem som deltog i ensemblen självständigt och representationen delas inte mellan dem.
Mer arbete i denna linje kan hittas i maskininlärningslitteraturen under namnet out-of-distribution detektion REF.
Out-of-Distribution Detection using Multiple Semantic Label Representations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}