Kunskapsdestillering är en allmänt tillämplig teknik för utbildning av ett studentneuralt nätverk under ledning av ett utbildat lärarnätverk. Till exempel i neurala nätverk kompression, en hög kapacitet lärare destilleras för att utbilda en kompakt student; i privilegierat lärande, en lärare utbildad med privilegierade data destilleras för att utbilda en student utan tillgång till dessa data. Destillationsförlusten avgör hur en lärares kunskaper fångas upp och överförs till studenten. I detta dokument föreslår vi en ny form av kunskapsdestillationsförlust som inspireras av iakttagelsen att semantiskt liknande ingångar tenderar att framkalla liknande aktiveringsmönster i ett utbildat nätverk. Likvärdighetsbevarande kunskapsdestillation styr utbildningen av ett studentnätverk så att indatapar som producerar liknande (olika) aktiveringar i lärarnätverket producerar liknande (olika) aktiveringar i studentnätverket. I motsats till tidigare destillationsmetoder är studenten inte skyldig att härma lärarens representationsutrymme, utan snarare att bevara de parvisa likheterna i sitt eget representationsutrymme. Experiment på tre offentliga dataset visar potentialen i vårt tillvägagångssätt.
Inspirerad av observationen att semantiskt likartade ingångar bör ha liknande aktiveringsmönster föreslår REF en liknande metod för att bevara kunskapsdestillering som vägleder studenten att härma läraren med avseende på att generera liknande eller olikartade aktiveringar.
Similarity-Preserving Knowledge Distillation
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}