Vi jämför robustheten hos människor och nuvarande konvolutionella djupa neurala nätverk (DNN) på objektigenkänning under tolv olika typer av bildnedbrytningar. Först, med hjälp av tre välkända DNNs (ResNet-152, VGG-19, GoogLeNet) finner vi det mänskliga visuella systemet att vara mer robust för nästan alla testade bildmanipuleringar, och vi observerar gradvis olika klassificering fel-mönster mellan människor och DNNs när signalen blir svagare. För det andra visar vi att DNN-utbildade direkt på förvrängda bilder konsekvent överträffar människans prestanda på de exakta distorsionstyper som de har utbildats på, men ändå uppvisar de extremt dåliga generaliseringsegenskaper när de testas på andra distorsionstyper. Till exempel, utbildning på salt-och-petter buller innebär inte robusthet på enhetliga vita buller och vice versa. Förändringar i bullerfördelningen mellan utbildning och testning utgör därför en avgörande utmaning för system för djupinlärning som systematiskt kan tas upp i en strategi för livslångt maskininlärning. Vår nya datauppsättning som består av 83K noggrant uppmätta mänskliga psykofysiska prövningar ger en användbar referens för livslång robusthet mot bildnedbrytningar som ställs in av det mänskliga visuella systemet.
Geirhos m.fl. REF jämförde den allmänna förmågan hos människor och djupa neurala nätverk (DNN).
Generalisation in humans and deep neural networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Biology']}