Abstract-bayesian inference spelar en viktig roll för att främja maskininlärning, men står inför beräkningsutmaningar när det tillämpas på komplexa modeller såsom djupa neurala nätverk. Variationella slutsatser kringgår dessa utmaningar genom att formulera Bayesian inference som ett optimeringsproblem och lösa det med hjälp av gradientbaserad optimering. I detta dokument argumenterar vi för naturnära metoder som, till skillnad från deras gradientbaserade motsvarigheter, kan förbättra konvergensen genom att utnyttja lösningarnas informationsgeometri. Vi visar hur man kan härleda snabba men enkla naturliga-gradient uppdateringar genom att använda en dualitet i samband med exponentiellt-familj distributioner. En attraktiv egenskap hos dessa metoder är att de genom att använda naturliga gradienter kan extrahera exakta lokala approximationer för enskilda modellkomponenter. Vi sammanfattar de senaste resultaten för Bayesian djupt lärande som visar överlägsenheten av naturliga-gradienten tillvägagångssätt över deras gradient motsvarigheter.
REF överväga naturliga gradient uppdateringar i inställningen av variationsinferens med exponentiella familjer.
Fast yet Simple Natural-Gradient Descent for Variational Inference in Complex Models
{'venue': 'International Symposium on Information Theory and Its Applications (ISITA), 2018', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}