Vi introducerar överspridd svart-box variational inference, en metod för att minska variansen av Monte Carlo uppskattning av lutningen i svart-box variational inference. Istället för att ta prover från variationsfördelningen använder vi viktig provtagning för att ta prover från en överspridd distribution i samma exponentiella familj som variations approximationen. Vårt tillvägagångssätt är allmänt eftersom det lätt kan tillämpas på varje exponentiell familjefördelning, vilket är det typiska valet för variations approximationen. Vi utför experiment på två icke-konjugera probabilistiska modeller för att visa att vår metod effektivt minskar variansen, och de overhead som införs genom beräkningen av förslagen parametrar och vikten vikter är försumbar. Vi finner att vårt överspridda provtagningssystem ger lägre varians än svart-box variationsinferens, även när den senare använder dubbelt så många prover. Detta leder till en snabbare konvergens av förfarandet för att dra slutsatser om svarta lådor.
REF (O-BBVI) förlängde detta arbete genom att lägga till viktprovtagning för att ytterligare minska lutningsestimatorns varians.
Overdispersed Black-Box Variational Inference
{'venue': 'UAI', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}