I detta dokument föreslår vi en andra ordningsoptimeringsmetod för att lära sig modeller där både dimensionaliteten hos parameterutrymmet och antalet träningsprover är hög. I vår metod konstruerar vi på varje iteration en Krylov subrymd som bildas av lutningen och en approximation till den hessiska matrisen, och sedan använder en delmängd av träningsdataprover för att optimera över denna subrymd. Som med den hessiska fri (HF) metoden [7], den hessiska matrisen är aldrig uttryckligen konstruerad, och beräknas med hjälp av en delmängd av data. I praktiken, som i HF, använder vi vanligtvis en positiv definitiv ersättning för den hessiska matrisen såsom Gauss-Newton matris. Vi undersöker effektiviteten av vår föreslagna metod på djupa neurala nätverk, och jämföra dess prestanda med allmänt använda metoder såsom stokastisk lutning nedstigning, konjugerad lutning nedstigning och L-BFGS, och även till HF. Vår metod leder till snabbare konvergens än antingen L-BFGS eller HF, och i allmänhet presterar bättre än någon av dem i korsvalideringsnoggrannhet. Det är också enklare och mer allmänt än HF, eftersom det inte kräver en positiv semi-definit approximation av den hessiska matrisen för att fungera bra eller inställningen av en dämpning parameter. Den främsta nackdelen jämfört med HF är behovet av minne för att lagra en grund för Krylov subrymden.
Annorlunda än Krylov subrymdsmetoden REF, konstruerar vi subrymden så att den alltid innehåller de grunda riktningarna för förlusten.
Krylov Subspace Descent for Deep Learning
{'venue': None, 'journal': 'arXiv: Machine Learning', 'mag_field_of_study': ['Mathematics', 'Computer Science']}