Att upptäcka prov som tagits tillräckligt långt från utbildningsdistributionen statistiskt eller motsträvigt är ett grundläggande krav för att kunna använda en bra klassificering i många tillämpningar för maskininlärning i verkligheten. Men djupa neurala nätverk med softmax klassificerare är kända för att producera mycket överkonfident bakre fördelningar även för sådana onormala prover. I detta papper föreslår vi en enkel men effektiv metod för att upptäcka eventuella onormala prover, som är tillämplig på alla pre-tränade softmax neural klassificerare. Vi får klassen villkorliga Gaussiska distributioner med avseende på (låg och övre nivå) funktioner i de djupa modellerna under Gaussian diskriminant analys, vilket resulterar i ett förtroende poäng baserat på Mahalanobis avstånd. Medan de flesta tidigare metoder har utvärderats för att upptäcka antingen out-of-distribution eller kontrarisiva prover, men inte båda, den föreslagna metoden uppnår state-of-the-art prestanda för båda fallen i våra experiment. Dessutom fann vi att vår föreslagna metod är mer robust i hårda fall, t.ex. när träningsdatasetet har bullriga etiketter eller ett litet antal prover. Slutligen visar vi att den föreslagna metoden har en bredare användning genom att tillämpa den på klass-inkrementell inlärning: när out-of-distribution prover upptäcks, vår klassificering regel kan införliva nya klasser väl utan ytterligare utbildning djupa modeller.
Ref föreslår Mahalanobis avståndsbaserade poäng som kännetecknar out-of-distribution prover med hjälp av dolda funktioner.
A Simple Unified Framework for Detecting Out-of-Distribution Samples and Adversarial Attacks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}