Trots betydelsen av bildrepresentationer såsom histogram av orienterade gradienter och djupa konvolutionella neurala nätverk (CNN), är vår teoretiska förståelse av dem fortfarande begränsad. Syftet är att fylla denna lucka, undersöker vi två viktiga matematiska egenskaper av representationer: likformighet och likvärdighet. Equivariance studerar hur omvandlingar av den ingående bilden kodas av representationen, invarians är ett specialfall där en omvandling inte har någon effekt. Likvärdighetsstudier om två representationer, till exempel två olika parameteriseringar av ett CNN, två olika lager, eller två olika CNN-arkitekturer, delar samma visuella information eller inte. Ett antal metoder för att fastställa dessa egenskaper föreslås empiriskt, bland annat att införa omvandlings- och sömskikt i CNN. Dessa metoder tillämpas sedan på populära representationer för att avslöja insiktsfulla aspekter av deras struktur, inklusive klargöra på vilka lager i en CNN vissa geometriska invarianter uppnås och hur olika CNN arkitekturer skiljer sig. Vi identifierar flera prediktorer av geometrisk och arkitektonisk kompatibilitet, inklusive den rumsliga upplösningen av representationen och komplexiteten och djupet av modellerna. Medan fokus på papperet är teoretisk, är direkta tillämpningar till strukturerad output regression också demonstreras.
REF-studiernas arbete är likvärdigt (med variabilitet som ett specialfall) och CNN:s likvärdighetsegenskaper genom att uttryckligen lära sig transformationer av produktionen för att kompensera för givna försämringar.
Understanding Image Representations by Measuring Their Equivariance and Equivalence
{'venue': 'International Journal of Computer Vision', 'journal': 'International Journal of Computer Vision', 'mag_field_of_study': ['Computer Science']}