I detta dokument föreslår vi en ny adaptiv stokastisk lutning Langevin dynamik (ASGLD) algoritmisk ram och dess två specialiserade versioner, nämligen adaptiv stokastisk lutning (ASG) och adaptiv gradient Langevin dynamik (AGLD), för icke-konvex optimering problem. Alla föreslagna algoritmer kan fly från sadeln punkter med högst O(log d) iterationer, som är nästan dimensionsfri. Vidare visar vi att ASGLD och ASG konvergerar till ett lokalt minimum med som mest O(log d/ på 4 ) iterationer. Dessutom, ASGLD med full gradienter eller ASGLD med en långsamt linjärt ökande batchstorlek konvergera till ett lokalt minimum med iterationer som begränsas av O(log d/ på 2 ), som överträffar befintliga första ordningen metoder.
Sang och Liu REF utvecklar en algoritm (adaptiv stokastisk gradient Langevin dynamik, ASGLD), som bevisligen når en andra-order kritisk punkt i O(log d/ på 4 ) med hög sannolikhet.
Adaptive Stochastic Gradient Langevin Dynamics: Taming Convergence and Saddle Point Escape Time
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}