Att veta när en clasfier förutsägelse kan lita på är användbart i många applikationer och kritiska för säker användning av AI. Medan huvuddelen av insatserna inom maskininlärning forskning har varit att förbättra klassificeringsprestanda, förståelse när en klassificerings förutsägelser bör och inte bör lita på har fått mycket mindre uppmärksamhet. Standardmetoden är att använda klassificeringsgivarens diskriminant- eller konfidenspoäng, men vi visar att det finns ett alternativ som är mer effektivt i många situationer. Vi föreslår en ny poäng, kallad trust score, som mäter överenskommelsen mellan klassificeraren och en modifierad närmaste granne klassificerare på testexemplet. Vi visar empiriskt att höga (låga) förtroendepoäng ger förvånansvärt hög precision när det gäller att identifiera korrekt (okorrekt) klassificerade exempel, som konsekvent överträffar klassificeringens förtroenderesultat samt många andra baslinjer. Vidare, enligt vissa milda fördelningsantaganden, visar vi att om trust score för ett exempel är hög (låg), kommer klassificeringsgivaren sannolikt att komma överens (missagree) med Bayes-optimal klassificerare. Våra garantier består av icke-asymptotiska frekvenser av statistisk överensstämmelse under olika icke-parametriska inställningar och bygger vidare på den senaste utvecklingen inom topologisk dataanalys.
Jiang m.fl. REF mätte överenskommelsen mellan klassificeringsanordningen och en modifierad klassificering av närmaste granne på testexemplen som en konfidensintervall.
To Trust Or Not To Trust A Classifier
{'venue': 'NeurIPS', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}