Trots sin överväldigande förmåga att överanstränga sig tenderar djupinlärningsarkitekturer att generalisera relativt väl till osedda data, vilket gör det möjligt att använda dem i praktiken. Men att förklara varför så är fallet är fortfarande ett öppet forskningsområde. En stående hypotes som blir allt populärare, t.ex. Hochreiter & Schmidhuber (1997) ; Keskar et al. (2017), är att planheten av minima av förlustfunktionen som hittas av stokastisk lutning baserade metoder resulterar i god generalisering. I detta dokument hävdas att de flesta begrepp om platthet är problematiska för djupa modeller och inte kan tillämpas direkt för att förklara generalisering. Särskilt, när vi fokuserar på djupa nätverk med likriktare enheter, kan vi utnyttja den särskilda geometrin av parameterutrymme som induceras av de inneboende symmetrier som dessa arkitekturer uppvisar för att bygga likvärdiga modeller som motsvarar godtyckligt skarpare minima. Dessutom, om vi tillåter att parametrisera en funktion, geometrin av dess parametrar kan förändras drastiskt utan att påverka dess generalisering egenskaper.
Men nyligen Dinh et al. REF hävdar att de flesta befintliga begrepp om platthet inte direkt kan förklara generaliseringen.
Sharp Minima Can Generalize For Deep Nets
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}