Den senaste tidens framsteg när det gäller djupt latenta variabla modeller har till stor del drivits på av utvecklingen av flexibla och skalbara variationsbaserade inferensmetoder. Variativ träning av denna typ innebär att maximera en lägre gräns på log-likelihood, med hjälp av prover från variations posterior för att beräkna de nödvändiga gradienter. Nyligen, Burda et al. (2016) har härlett en snävare nedre gräns med hjälp av en uppskattning av sannolikheten för provtagning av flera prover och visat att optimeringen ger modeller som använder mer av sin kapacitet och uppnår högre sannolikheter. Denna utveckling visade hur viktigt det är med sådana mål för flera urval och förklarade att flera relaterade strategier har varit framgångsrika. Vi utökar multi-prov metoden till diskret latent variabler och analysera svårigheten som uppstår vid uppskattningen av de berörda gradienterna. Vi utvecklar sedan den första opartiska gradientestimator utformad för vikt-sampled mål och utvärdera den vid utbildning generativ och strukturerad output förutsägelse modeller. Den resulterande estimator, som är baserad på låg variation per prov lärande signaler, är både enklare och mer effektiv än NVIL estimator (Mnih & Gregor, 2014) som föreslås för det enskilda urvalet variationsmålet, och är konkurrenskraftig med de för närvarande använda partiska estimatorer.
VIMCO REF utvidgar detta tillvägagångssätt till diskreta latenta variabler och ger toppmoderna generativa resultat när det gäller att lära sig sinmoida trosnätverk.
Variational inference for Monte Carlo objectives
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}