Många maskininlärning problem gäller Monte Carlo gradient estimatorer. Som ett framträdande exempel fokuserar vi på Monte Carlo variantal inference ( ) i detta dokument. Prestandan av avgörande beror på variansen av dess stokastiska gradienter. Vi föreslår variansminskning med hjälp av Quasi-Monte Carlo ( ) provtagning. ersätter N i.i.d. prov från en enhetlig sannolikhetsfördelning genom en deterministisk sekvens av prover av längd N. Denna sekvens täcker den underliggande slumpmässiga variabelt utrymme mer jämnt än i.i.d. ritar, minska variansen av lutningen estimator. Med vårt nya tillvägagångssätt leder både poängfunktion och reparameteriseringsgradientskattningar till mycket snabbare konvergens. Vi föreslår också en ny algoritm för Monte Carlo-mål, där vi arbetar med konstant inlärningshastighet och ökar antalet prov per iteration. Vi bevisar att detta sätt, vår algoritm kan konvergera asymptotiskt i en snabbare takt än. Vi ger dessutom teoretiska garantier för Monte Carlo mål som går längre än, och stöder våra resultat genom flera experiment på storskaliga datamängder från olika domäner.
QMC Variational Inference: Buchholz et al. I REF föreslås användning av QMC för att minska variansen av gradientskattningarna av Monte Carlo Variational Inference.
Quasi-Monte Carlo Variational Inference
{'venue': 'Published in the proceedings of the 35th International Conference on Machine Learning (ICML 2018)', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}