Vi presenterar en effektiv blockdiagonal approximation till Gauss-Newton matris för feedfore neurala nätverk. Vår resulterande algoritm är konkurrenskraftig mot toppmoderna förstklassiga optimeringsmetoder, med ibland betydande förbättringar i optimeringsprestanda. Till skillnad från första ordningens metoder, för vilka hyperparameterinställning av optimeringsparametrarna ofta är en mödosam process, kan vårt tillvägagångssätt ge bra prestanda även när det används med standardinställningar. Ett sidoresultat av vårt arbete är att för bitvis linjära överföringsfunktioner kan den nätverksobjektiva funktionen inte ha någon differentierad lokal maxima, vilket delvis kan förklara varför sådana överföringsfunktioner underlättar effektiv optimering.
Botev m.fl. REF ansågs vara en block diagonal approximation av Gauss-Newton matris i en Newton metod för utbildning autoencoders.
Practical Gauss-Newton Optimisation for Deep Learning
{'venue': 'ICML', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}