Variativ inferens behandlas i allt högre grad med stokastisk optimering. I denna inställning spelar lutningens varians en avgörande roll i optimeringsförfarandet, eftersom höga variansgradienter leder till dålig konvergens. En populär metod som används för att minska lutningens varians innebär användning av kontroll variater. Trots de goda resultat som erhållits, kontrolleras variater som utvecklats för variationsinferens vanligtvis ses isolerat. I detta dokument klargör vi det stora antal kontrollvariabler som finns tillgängliga genom att ge en systematisk bild av hur de härleds. Vi presenterar också en Bayesian riskminimering ram där kvaliteten på ett förfarande för att kombinera kontroll variater kvantifieras genom dess effekt på optimering konvergens, vilket leder till en mycket enkel kombination regel. Resultaten visar att kombinationen av ett stort antal kontrollvariationer på detta sätt avsevärt förbättrar konvergensen av inferensen jämfört med att använda de typiska gradientskattningarna eller ett minskat antal kontrollvariationer.
REF visar i själva verket att en kombination av kontrollvariabler vanligtvis är mer önskvärt än ett enda system.
Using Large Ensembles of Control Variates for Variational Inference
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}