Vi föreslår en enkel och allmän variant av standardreparameterized lutning estimator för variationen bevis lägre gräns. Specifikt tar vi bort en del av den totala derivatan med avseende på de variationsparametrar som motsvarar poängfunktionen. Att ta bort denna term ger en objektiv gradientskattning vars varians närmar sig noll när den ungefärliga bakre närmar sig den exakta bakre. Vi analyserar beteendet hos denna gradientskattare teoretiskt och empiriskt, och generaliserar det till mer komplexa variationsfördelningar såsom blandningar och viktade posteriorer.
Ref föreslå en lägre variansgradient uppskattning eller genom att utelämna en term av.
Sticking the Landing: An Asymptotically Zero-Variance Gradient Estimator for Variational Inference
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}