En framväxande designprincip i djupinlärning är att varje lager av ett djupt artificiellt neuralt nätverk ska kunna enkelt uttrycka identitetsomvandlingen. Denna idé motiverade inte bara olika normaliseringsmetoder, såsom batchnormalisering, utan var också nyckeln till den enorma framgången för kvarvarande nätverk. I detta arbete sätter vi principen om identitetsparameterisering på en mer solid teoretisk grund vid sidan av ytterligare empiriska framsteg. Vi ger först ett slående enkelt bevis på att godtyckligt djupa linjära resterande nätverk inte har några falska lokala optima. Samma resultat för linjära feed-forward-nätverk i deras standardparameterisering är betydligt känsligare. För det andra visar vi att kvarvarande nätverk med ReLu aktiveringar har universell finit-prov expressivitet i den meningen att nätverket kan representera någon funktion av sitt urval, förutsatt att modellen har fler parametrar än provstorleken. Direkt inspirerade av vår teori experimenterar vi med en radikalt enkel restarkitektur bestående av endast kvarvarande konvolutionella lager och ReLu-aktiveringar, men ingen batch normalisering, avhopp eller max pool. Vår modell förbättras avsevärt på tidigare all-convolutional nätverk på CIFAR10, CIFAR100, och ImageNet klassificering riktmärken.
Hardt och Ma REF djupa linjära kvarvarande nätverk har inga falska lokala optima.
Identity Matters in Deep Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}