Vi föreslår en general purpose variationalgoritm som utgör en naturlig motsvarighet till lutningsnedstigning för optimering. Vår metod iterativt transporterar en uppsättning partiklar för att matcha målfördelningen, genom att tillämpa en form av funktionell lutning nedstigning som minimerar KL divergensen. Empiriska studier utförs på olika verkliga modeller och dataset, där vår metod är konkurrenskraftig med befintliga state-of-the-art metoder. Härledning av vår metod bygger på ett nytt teoretiskt resultat som förbinder derivatan av KL divergens under smidiga transformer med Steins identitet och en nyligen föreslagen kärnoriserad Stein diskrepans, som är av oberoende intresse.
Stein Variational Gradient Descent, föreslås i REF, är en allmän VI metod som består i att omvandla en uppsättning partiklar för att matcha den exakta bakre fördelningen.
Stein Variational Gradient Descent: A General Purpose Bayesian Inference Algorithm
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}