Feature representationer, både handgjorda och lärda, är ofta svåra att analysera och tolka, även när de extraheras från visuella data. Vi föreslår ett nytt tillvägagångssätt för att studera bildrepresentationer genom att vända på dem med ett upp-konvolutionellt neuralt nätverk. Vi tillämpar metoden på ytliga representationer (HOG, SIFT, LBP), samt på djupa nätverk. För ytliga representationer ger vårt tillvägagångssätt betydligt bättre rekonstruktioner än befintliga metoder, vilket avslöjar att det finns förvånansvärt rik information i dessa funktioner. Invertera ett djupt nätverk utbildat på ImageNet ger flera insikter i egenskaperna hos funktionen representation lärt sig av nätverket. Mest slående, färgerna och de grova konturerna av en bild kan rekonstrueras från aktiveringar i högre nätverkslager och även från den förutsagda klass sannolikheter.
Det upp-konvolutionella neurala nätverket användes i REF för att invertera de mellanliggande funktionerna i CNN och ledde till mer exakt bildrekonstruktion, avslöjar att rik information finns i dessa inre funktioner.
Inverting Visual Representations with Convolutional Networks
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}