Det är allmänt observerat att djupt lärande modeller med inlärda parametrar generaliserar väl, även med mycket mer modellparametrar än antalet träningsprover. Vi undersöker systematiskt de bakomliggande orsakerna till att djupa neurala nätverk ofta generaliserar väl, och avslöjar skillnaden mellan minima (med samma träningsfel) som generaliserar väl och dem de inte gör. Vi visar att det är karaktärsdragen i förlustfunktionen som förklarar den goda generaliseringsförmågan. För landskapet av förlust funktion för djupa nätverk, volymen av attraktion av bra minima dominerar över fattiga minima, vilket garanterar optimeringsmetoder med slumpmässig initiering för att konvergera till bra minima. Vi motiverar teoretiskt våra fynd genom att analysera 2-lagers neurala nätverk; och visar att lågkomplexitetslösningar har en liten norm av hessian matris med avseende på modellparametrar. För djupare nätverk bidrar omfattande numeriska bevis till att stödja våra argument.
Till exempel hävdade REF att orsakerna till deras goda generaliseringsegenskaper är landskapsegenskaperna hos förlustfunktionen.
Towards Understanding Generalization of Deep Learning: Perspective of Loss Landscapes
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}