Vi analyserar variansen av stokastiska gradienter längs negativa kurvriktningar i vissa icke konvexa maskininlärningsmodeller och visar att stokastiska gradienter uppvisar en stark komponent längs dessa riktningar. Dessutom visar vi att - i motsats till fallet med isotropt buller - denna avvikelse är proportionell mot storleken på motsvarande eigenvärden och inte minskar i dimensionaliteten. Baserat på denna observation föreslår vi ett nytt antagande enligt vilket vi visar att injektionen av explicit, isotropt buller som vanligtvis tillämpas för att göra lutning nedstigning utrymning sadeln punkter kan framgångsrikt ersättas med ett enkelt SGD steg. Dessutom - och under samma villkor - härleder vi den första konvergenssatsen för vanlig SGD till en andra ordningens stationär punkt i ett antal iterationer som är oberoende av problemdimensionen.
REF visar att om man antar att variansen av stokastisk lutning längs utrymningsriktningen för sadelpunkter är minst γ för alla sadelpunkter, då CNC-SGD finner SOSPs i Õ(γ −4  och −5 ) iterationer.
Escaping Saddles with Stochastic Gradients
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}