Varial inferens har blivit en allmänt använd metod för att approximera posteriors i komplexa latent variabler modeller. Men att härleda en variationell inferensalgoritm kräver i allmänhet en betydande modellspecifik analys, och dessa ansträngningar kan hindra och avskräcka oss från att snabbt utveckla och utforska en mängd olika modeller för ett problem som finns. I den här artikeln presenterar vi en "svart låda" variationell inferencealgoritm, en algoritm som snabbt kan appliceras på många modeller med lite ytterligare härledning. Vår metod är baserad på en stokastisk optimering av variationsmålet där den bullriga lutningen beräknas från Monte Carlo prover från variationsfördelningen. Vi utvecklar ett antal metoder för att minska variansen av lutningen, alltid upprätthålla kriteriet att vi vill undvika svåra modellbaserade härledningar. Vi utvärderar vår metod mot motsvarande svart box provtagning baserade metoder. Vi finner att vår metod når bättre prediktiva sannolikheter mycket snabbare än provtagningsmetoder. Slutligen visar vi att Black Box Variational Inference lätt kan utforska ett brett utrymme av modeller genom att snabbt konstruera och utvärdera flera modeller av longitudinella hälsodata.
Ranganath m.fl. REF introducerar en ny metod för att minska variansen av de bullriga gradienterna för varationell baserad djup modellinlärning.
Black Box Variational Inference
{'venue': 'AISTATS 2014', 'journal': 'arXiv: Machine Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}