Andra ordningen optimeringsmetoder såsom naturlig lutning nedstigning har potential att påskynda utbildningen av neurala nätverk genom att korrigera för krökning av förlustfunktionen. Tyvärr är den exakta naturliga lutningen opraktisk att beräkna för stora modeller, och de flesta approximationer kräver antingen ett dyrt iterativt förfarande eller göra rå approximationer till krökning. Vi presenterar Kronecker Factors for Convolution (KFC), en dragbar approximation till Fisher-matrisen för konvolutionsnätverk baserat på en strukturerad probabilistisk modell för distribution över backpropagerade derivat. På samma sätt som den nyligen föreslagna Kronecker-Factored Ungefärliga Curvature (K-FAC), varje block av den ungefärliga Fisher matris sönderdelas som Kronecker produkten av små matriser, vilket möjliggör effektiv inversion. KFC fångar viktig krökningsinformation samtidigt som den ger jämförbara effektiva uppdateringar av stokastisk lutningsnedstigning (SGD). Vi visar att uppdateringarna är invariant att allmänt använda reparameterizations, såsom centrering av aktiveringarna. I våra experiment, ungefärlig naturlig lutning nedstigning med KFC kunde träna konvolutionella nätverk flera gånger snabbare än noggrant inställda SGD. Dessutom kunde den utbilda näten i 10–20 gånger färre iterationer än SGD, vilket tyder på dess potentiella tillämplighet i en distribuerad miljö.
I Ref föreslår författarna en tillnärmning till FIM för konvolutionsnätverk och visar att det resulterande NGD-utbildningsförfarandet är många gånger effektivare än SGD.
A Kronecker-factored approximate Fisher matrix for convolution layers
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}