Fisher informationsmatris (FIM) är en grundläggande kvantitet för att representera egenskaperna hos en stokastisk modell, inklusive djupa neurala nätverk (DNN). Den aktuella undersökningen visar på ny statistik över FIM som är universell bland en bred klass av DNN. I detta syfte använder vi slumpmässiga vikter och stora breddgränser, vilket gör det möjligt för oss att använda genomsnittliga fältteorier. Vi undersöker den asymptotiska statistiken över FIM:s eigenvärden och avslöjar att de flesta av dem är nära noll medan det maximala tar ett enormt värde. Detta innebär att eigenvärdesfördelningen har en lång svans. Eftersom landskapet för parameterutrymmet definieras av FIM, är det lokalt platt i de flesta dimensioner, men kraftigt förvrängt i andra. Vi visar också den potentiella användningen av härledd statistik genom två övningar. För det första kan små eigenvärden som framkallar flathet kopplas till ett normbaserat kapacitetsmått på generaliseringsförmåga. För det andra, det maximala eigenvärde som inducerar förvrängningen gör det möjligt för oss att kvantitativt uppskatta en lämplig storlek inlärningshastighet för gradientmetoder för att konvergera.
I synnerhet tillämpade REF en genomsnittlig fältteori för att studera statistiken över spektrumet och den lämpliga storleken på inlärningsfrekvensen.
Universal Statistics of Fisher Information in Deep Neural Networks: Mean Field Approach
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics', 'Physics']}