Frågan om hur man införlivar krökningsinformation i stokastiska approximeringsmetoder är utmanande. Den direkta tillämpningen av klassiska kvasiNewton uppdatering tekniker för deterministisk optimering leder till bullriga krökningar uppskattningar som har skadliga effekter på robustheten i iterationen. I detta dokument föreslår vi en stokastisk kvasi-Newton-metod som är effektiv, robust och skalbar. Den använder den klassiska BFGS-uppdateringsformeln i sin begränsade minnesform, och bygger på observationen att det är fördelaktigt att samla in krökningsinformation punktvis, och med jämna mellanrum, genom (delprovtagna) hessiska-vektorprodukter. Denna teknik skiljer sig från den klassiska metoden som skulle beräkna skillnader i gradienter, och där kontrollera kvaliteten på krökningsuppskattningar kan vara svårt. Vi presenterar numeriska resultat på problem som uppstår i maskininlärning som tyder på att den föreslagna metoden visar mycket lovande.
REF föreslog ett stokastiskt begränsat minne BFGS (SQN) genom delurval av hessiska vektorprodukter.
A Stochastic Quasi-Newton Method for Large-Scale Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}