Konvolutionella neurala nätverk (CNN) anses allmänt känna igen objekt genom att lära sig alltmer komplexa representationer av objektformer. Några färska studier tyder på att bildens texturer spelar en viktigare roll. Vi sätter här dessa motstridiga hypoteser på ett kvantitativt test genom att utvärdera CNN och mänskliga observatörer på bilder med en textur-form kö konflikt. Vi visar att ImageNettrailed CNNs är starkt partiska mot att känna igen texturer snarare än former, vilket är i skarp kontrast till mänskliga beteendebevis och avslöjar fundamentalt olika klassificeringsstrategier. Vi visar sedan att samma standardarkitektur (ResNet-50) som lär sig en texturbaserad representation på ImageNet kan lära sig en formbaserad representation istället när den tränas på "StylizedImageNet", en stiliserad version av ImageNet. Detta ger en mycket bättre passform för mänskligt beteende i vår välkontrollerade psykofysiska labbmiljö (nio experiment på totalt 48.560 psykofysiska prövningar på 97 observatörer) och kommer med ett antal oväntade fördelar såsom förbättrad prestanda för objektdetektering och tidigare osynlig robusthet mot ett brett spektrum av bildförvrängningar, vilket belyser fördelarna med en formbaserad representation. Figur 1: Klassificering av en standard ResNet-50 av a) en texturbild (elefant hud: endast textur cues); b) en normal bild av en katt (med både form och textur cues), och c) en bild med en textur-shape cue konflikt, genereras av stil överföring mellan de två första bilderna.
Resultat från REF visar att ImageNet utbildade ConvNets är starkt partiska mot texturfunktioner.
ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Biology', 'Mathematics']}