Vi analyserar stokastisk lutning nedstigning för att optimera icke-konvexa funktioner. I många fall för icke konvexa funktioner är målet att hitta ett rimligt lokalt minimum, och det främsta problemet är att gradient uppdateringar är instängda i sadeln punkter. I detta papper identifierar vi strikt sadelförmågor för icke-konvexa problem som möjliggör effektiv optimering. Med hjälp av denna egenskap visar vi att stokastisk lutning nedstigning konvergerar till ett lokalt minimum i ett polynom antal iterationer. Såvitt vi vet är detta det första arbetet som ger globala konvergensgarantier för stokastisk lutning nedstigning på icke konvexa funktioner med exponentiellt många lokala minima och sadelpunkter. Vår analys kan tillämpas på ortogonal tensor sönderdelning, som ofta används för att lära sig en rik klass av latenta variabla modeller. Vi föreslår en ny optimering formulering för tensor nedbrytning problem som har strikt sadel egendom. Som ett resultat får vi den första online-algoritmen för ortogonal tensor sönderdelning med global konvergensgaranti.
REF studerar konvergensen av stokastisk lutning nedstigning (SGD) för tensor nedbrytningsproblem, vilket innebär att hitta en lokal optimal av en icke konvex objektiv funktion som uteslutande består av sadelpunkter och lokala optima.
Escaping From Saddle Points --- Online Stochastic Gradient for Tensor Decomposition
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}