Vi studerar fellandskapet hos djupa linjära och icke-linjära neurala nätverk med kvadratfelförlust. Vi bygger vidare på de senaste resultaten i litteraturen och presenterar nödvändiga och tillräckliga förutsättningar för att en kritisk punkt i den empiriska riskfunktionen ska vara ett globalt minimum i det djupa linjära nätverksfallet. Våra enkla villkor kan också användas för att avgöra om en given kritisk punkt är ett globalt minimum eller en sadelpunkt. Vi utökar ytterligare dessa resultat till djupa icke-linjära neurala nätverk och visar sig ha liknande förutsättningar för global optimalitet i funktionsutrymmet. I detta avsnitt beskriver vi problemformuleringen och notationerna för djupa linjära neurala nätverk, anger de viktigaste resultaten (Theorems 2.1 och 2.2), och förklarar deras konsekvenser. Antag att vi har m input-output par, där ingångarna är av dimension d x och utgångar av dimension d y. Låt X  till R d x ×m vara datamatrisen och Y  till R d y ×m vara utdatamatrisen. Antag
Referensreferensreferensreferensen utvidgar dessa resultat och ger nödvändiga och tillräckliga villkor för att en kritisk punkt i förlustfunktionen ska vara ett globalt minimum.
Global optimality conditions for deep neural networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}