Nya framsteg i Bayesian lärande med storskaliga data har bevittnat uppkomsten av stokastisk gradient MCMC algoritmer (SG-MCMC), såsom stokastisk gradient Langevin dynamik (SGLD), stokastisk gradient Hamiltonian MCMC (SGHMC), och stokastisk gradient termostat. Även om ändliga tidskonvergensegenskaper hos SGLD med en första ordningens Eulerintegrator nyligen har studerats, har motsvarande teori för allmänna SG-MCMCs inte undersökts. I denna uppsats betraktar vi allmänna SG-MCMCs med högorderintegratörer, och utvecklar teori för att analysera ändliga-tid konvergens egenskaper och deras asymptotiska invarianta åtgärder. Våra teoretiska resultat visar snabbare konvergensfrekvenser och mer exakta invarianta åtgärder för SG-MCMCs med högre orderintegratörer. Till exempel, med den föreslagna effektiva andra ordningens symmetriska uppdelningsintegratör, uppnår det genomsnittliga kvadratfelet (MSE) i det bakre medelvärdet för SGHMC en optimal konvergens på L −4/5 vid L iterationer, jämfört med L −2/3 för SGHMC och SGLD med första ordningens Eulerintegratorer. Konvergensresultaten för allt mindre SG-MCMC-företag utvecklas också, med samma konvergensnivåer som deras motsvarigheter i faststegsstorlek för en specifik minskande sekvens. Experiment på både syntetiska och verkliga dataset verifierar vår teori, och visar fördelar med den föreslagna metoden i två storskaliga reella tillämpningar.
REF visade den icke-asymptotiska biasen och variansen av MCMC-algoritmer med hög klassintegratorer.
On the Convergence of Stochastic Gradient MCMC Algorithms with High-Order Integrators
{'venue': None, 'journal': 'arXiv: Machine Learning', 'mag_field_of_study': ['Mathematics', 'Computer Science']}