Vi presenterar PYHESSIAN, ett nytt skalbart ramverk som möjliggör snabb beräkning av Hessian (d.v.s. andraorderderivat) information för djupa neurala nätverk. Detta ramverk är utvecklat i Pytorch, och det möjliggör distribuerad minnesutförande på både moln och superdatorsystem. PYHESSIAN möjliggör snabba beräkningar av de översta hessiska eigenvärdena, det hessiska spåret och den fulla hessiska eigenvärdet/spektraltätheten. Denna allmänna ram kan användas för att analysera neurala nätverk modeller, inklusive topologin för förlust landskap (dvs., krökning information) för att få insikt i beteendet hos olika modeller/optimizers. För att illustrera detta använder vi PYHES-SIAN för att analysera effekten av kvarvarande anslutningar och Batch Normalisering lager på jämnheten i förlustlandskapet under träning. Ett nytt påstående, baserat på enklare första ordningen analys, är att kvarvarande anslutningar och Batch Normalization gör förlustlandskapet "smother", vilket gör det lättare för Stochastic Gradient Descent att konvergera till en bra lösning. Vi utför en omfattande analys av denna hypotes, på fyra kvarvarande nätverk (ResNet20/32/38/56) på Cifar-10/100 dataset, genom att mäta direkt det hessiska spektrumet med hjälp av TYHESSIAN. Denna analys leder till finare insikter, vilket visar att även om konventionell visdom ibland valideras, i andra fall är den helt enkelt felaktig. I synnerhet finner vi att Batch Normalization lager inte nödvändigtvis gör förlust landskap smidigare, särskilt för grunda nätverk. Istället blir det påstådda smidigare förlustlandskapet bara uppenbart för djupare neurala nätverk, åtminstone inom denna ResNet-serie. Vi har öppnat vår PYHESSIAN ram för hessisk spektrumberäkning [1].
Detta bekräftades senare för djupa NN-modeller genom att mäta det hessiska spektrumet av nätverket med/utan BN REF.
PyHessian: Neural Networks Through the Lens of the Hessian
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}