Ett av de centrala problemen med den moderna statistiken är att ungefärliga sannolikhetstätheter är svåra att beräkna. Detta problem är särskilt viktigt i Bayesian statistik, som ramar alla slutsatser om okända mängder som en beräkning som omfattar den bakre densiteten. I detta papper granskar vi variationsinferens (VI), en metod från maskininlärning som approximerar sannolikhetstäthet genom optimering. VI har använts i många tillämpningar och tenderar att vara snabbare än klassiska metoder, såsom Markov kedjan Monte Carlo provtagning. Tanken bakom VI är att först bilda en familj av densiteter och sedan hitta den familjemedlem som ligger nära målet. Närheten mäts med Kullback-Leibler divergens. Vi granskar idéerna bakom medelfält variationsinferens, diskuterar specialfallet VI tillämpas på exponentiella familjemodeller, presentera ett fullständigt exempel med en Bayesian blandning av Gaussians, och härleda en variant som använder stokastisk optimering för att skala upp till massiva data. Vi diskuterar modern forskning i VI och lyfter fram viktiga öppna problem. VI är mäktigt, men det är ännu inte väl förstått. Vår förhoppning med att skriva denna uppsats är att katalysera statistisk forskning om denna klass av algoritmer.
Variationell inferens har studerats ingående i maskininlärning, se REF för ett granskningsdokument.
Variational Inference: A Review for Statisticians
{'venue': 'Journal of the American Statistical Association, Vol. 112 , Iss. 518, 2017', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}