Neurala nätverk har visat oöverträffad prestanda i en rad klassificeringsuppgifter. Trots ett stort antal insatser från forskarvärlden är nyupptäckt fortfarande en av de betydande begränsningarna i neurala nätverk. Förmågan att identifiera tidigare osynliga ingångar som nya är avgörande för vår förståelse av de beslut som fattas av neurala nätverk. Vid körtid, ingångar som inte faller in i någon av de kategorier som lärts under utbildning kan inte klassificeras korrekt av neurala nätverket. Befintliga metoder behandlar det neurala nätverket som en svart låda och försöker upptäcka nya ingångar baserat på förtroendet för utdata förutsägelser. Neurala nätverk är dock inte utbildade för att minska deras förtroende för nya ingångar, vilket begränsar effektiviteten av dessa metoder. Vi föreslår ett ramverk för att övervaka ett neuralt nätverk genom att observera de dolda skikten. Vi använder en gemensam abstraktion från programanalys-boxes-för att identifiera nya beteenden i de övervakade skikten, dvs. ingångar som orsakar beteenden utanför boxen. För varje neuron, rutorna sträcker sig över de värden som ses i träning. Ramen är effektiv och flexibel för att uppnå en önskad kompromiss mellan att höja falska varningar och upptäcka nya ingångar. Vi illustrerar prestandan och robustheten till variabiliteten i de okända klasserna på populära bildklassificeringsriktmärken.
REF föreslogs för att upptäcka nya ingångar genom att observera de dolda skikten, dvs. om de ligger utanför värdeintervallet under utbildningen.
Outside the Box: Abstraction-Based Monitoring of Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}