Abstrakt. Visualiserande funktioner i djupa neurala nätverk (DNN) kan hjälpa till att förstå deras beräkningar. Många tidigare studier syftade till att visualisera selektiviteten hos enskilda enheter genom att hitta meningsfulla bilder som maximerar deras aktivering. Jämförbart lite uppmärksamhet har dock ägnats åt att visualisera vilka bildomvandlingsenheter i DNN som är invarianta. Här föreslår vi en metod för att upptäcka invarianter i reaktionerna från dolda lagerenheter av djupa neurala nätverk. Vår strategi är baserad på att samtidigt söka efter ett parti bilder som kraftigt aktiverar en enhet samtidigt som den är så skild från varandra som möjligt. Vi finner att även tidiga konvolutionslager i VGG-19 uppvisar olika former av reaktionsinvariant: nära-perfekt fasinvarians i vissa enheter och invarians till lokala diffeomorfa omvandlingar i andra. Samtidigt avslöjar vi representationella skillnader med ResNet-50 i motsvarande lager. Vi drar slutsatsen att variansomvandlingar är en viktig beräkningskomponent som DNN har lärt sig och vi tillhandahåller en systematisk metod för att studera dem.
I REF studerar till exempel författare invarianter i svar från dolda enheter och finner att dessa är viktiga beräkningskomponenter som lärs av nätverk.
Diverse feature visualizations reveal invariances in early layers of deep neural networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}