Djupa neurala nätverk är mycket uttrycksfulla modeller som nyligen har uppnått toppmoderna prestanda på tal och visuella igenkänningsuppgifter. Deras uttrycksfullhet är orsaken till att de lyckas, men det får dem också att lära sig oförutsebara lösningar som kan ha kontraintuitiva egenskaper. I detta dokument rapporterar vi två sådana egenskaper. För det första finner vi att det inte finns någon skillnad mellan enskilda högnivåenheter och slumpmässiga linjära kombinationer av högnivåenheter, enligt olika metoder för enhetsanalys. Det tyder på att det är utrymmet, snarare än de enskilda enheterna, som innehåller den semantiska informationen i de höga skikten av neurala nätverk. För det andra finner vi att djupa neurala nätverk lär sig input-output kartläggningar som är ganska okontinuerliga i betydande utsträckning. Vi kan få nätverket att missklassificera en bild genom att tillämpa en viss knappt märkbar perturbation, som hittas genom att maximera nätverkets förutsägelsefel. Dessutom, den specifika karaktären av dessa perturbationer är inte en slumpmässig artefakt av lärande: samma perturbation kan orsaka ett annat nätverk, som utbildades på en annan delmängd av datauppsättningen, för att felklassificera samma ingång.
Detta beslut träder i kraft dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. REF rapporterade kontraintuitiva egenskaper hos neurala nätverk, och fann kontrarimala exempel med knappast märkbar perturbation som kunde vilseleda algoritmen.
Intriguing properties of neural networks
{'venue': 'ICLR 2014', 'journal': 'arXiv: Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}