Mean-field variational inference är en metod för ungefärlig Bayesian bakre inference. Det approximerar en fullständig bakre fördelning med en faktoriserad uppsättning distributioner genom att maximera en lägre gräns på marginalsannolikheten. Detta kräver förmågan att integrera en summa termer i log joint sannolikhet med hjälp av denna faktoriserade fördelning. Ofta är inte alla integraler i sluten form, som vanligtvis hanteras med hjälp av en lägre gräns. Vi presenterar en alternativ algoritm baserad på stokastisk optimering som möjliggör direkt optimering av den variationella nedre gränsen. Denna metod använder kontroll variater för att minska variansen av den stokastiska sökgradienten, där befintliga nedre gränser kan spela en viktig roll. Vi demonstrerar tillvägagångssättet på två icke-konjugera modeller: logistisk regression och en approximation till HDP.
REF introducerar först idén om att använda kontrollvariater för att minska gradientvariansen i VI.
Variational Bayesian Inference with Stochastic Search
{'venue': 'ICML', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}