Vi studerar egenskaperna hos vanliga förlustytor genom deras hessiska matris. I synnerhet, i samband med djupt lärande, visar vi empiriskt att spektrat av hessianen består av två delar: 1) bulk centrerad nära noll, 2) och avvikande från bulk. Vi presenterar numeriska bevis och matematiska motiveringar till följande antaganden som anges av: Fastställande av data, ökning av antalet parametrar bara skalar huvuddelen av spektrumet; fastställande av dimension och ändring av data (till exempel lägga till fler kluster eller göra data mindre åtskilda) bara påverkar outliers. Vi anser att våra observationer har slående konsekvenser för icke-konvex optimering i höga dimensioner. För det första innebär det faktum att sådana landskap är platta (som kan mätas med hessianens singularitet) att klassiska föreställningar om attraktionsbassänger kan vara ganska vilseledande. Och att diskussionen om breda/smala bassänger kan vara i behov av ett nytt perspektiv kring överparametrisering och redundans som kan skapa stora anslutna komponenter längst ner i landskapet. För det andra kan beroendet av ett litet antal stora eigenvärden till datadistributionen kopplas till spektrumet av covariansmatrisen för gradienter av modellutgångar. Med detta i åtanke kan vi omvärdera kopplingarna inom en modells dataarkitektrealgoritmram, i hopp om att den skulle sprida ljus i geometrin för högdimensionella och icke-konvexa utrymmen i moderna tillämpningar. I synnerhet presenterar vi ett fall som knyter samman de två observationerna: en gradientbaserad metod verkar först klättra uppåt och sedan falla nedförsbacke mellan två punkter, medan de i själva verket ligger i samma bassäng.
I arbetet med REF, Hessian är också relaterad till lutningen kovarian matris, och båda har visat sig vara mycket anisotropisk.
Empirical Analysis of the Hessian of Over-Parametrized Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}