Adaptiva metoder som Adam och RMSProp används ofta i djupinlärning men är inte välbegripliga. I detta papper söker vi en skarp, ren och exakt karakterisering av deras beteende i icke konvexa inställningar. I detta syfte ger vi först en ny bild av adaptiva metoder som förkonditionerade SGD, där förkonditioneringsgivaren uppskattas på ett online sätt. Genom att studera förkonditionären på egen hand klargör vi dess syfte: den skalar om det stokastiska lutningsbullret till att vara isotropiskt nära stationära punkter, vilket hjälper till att undkomma sadelpunkter. Dessutom visar vi att adaptiva metoder effektivt kan uppskatta ovan nämnda förkonditionerare. Genom att limma ihop dessa två komponenter ger vi det första (som vi vet) andra ordningens konvergensresultat för alla adaptiva metoder. Den viktigaste insikten från vår analys är att, jämfört med SGD, adaptiva metoder fly sadel punkter snabbare, och kan konvergera snabbare överlag till andra ordningen stationära punkter.
Arbetet i REF visar att adaptiv algoritm, såsom Adam och RMSProp, kommer att skala den stokastiska lutning buller att vara isotropa nära stationära punkter, vilket hjälper fly sadeln punkter.
Escaping Saddle Points with Adaptive Gradient Methods
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}