Neurala nätverk utbildning bygger på vår förmåga att hitta "bra" minimerare av mycket icke-konvexa förlustfunktioner. Det är välkänt att vissa nätverksarkitektur design (t.ex., hoppa anslutningar) producerar förlustfunktioner som tränar lättare, och väl valda utbildningsparametrar (match storlek, inlärningshastighet, optimizer) producerar minimerare som generaliserar bättre. Orsakerna till dessa skillnader och deras effekter på det underliggande förlustlandskapet är dock inte väl underbyggda. I detta papper utforskar vi strukturen av neural förlust funktioner, och effekten av förlust landskap på generalisering, med hjälp av en rad visualiseringsmetoder. Först introducerar vi en enkel "filter normalisering" metod som hjälper oss att visualisera förlustfunktion krökning och göra meningsfulla jämförelser sida vid sida mellan förlustfunktioner. Sedan, med hjälp av en mängd olika visualiseringar, undersöker vi hur nätverksarkitekturen påverkar förlustlandskapet och hur träningsparametrar påverkar formen av minimerare.
REF införde en ny metod för att visualisera förlustlandskapet.
Visualizing the Loss Landscape of Neural Nets
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}