Reparameteriseringsgradienten har blivit en allmänt använd metod för att erhålla Monte Carlo gradienter för att optimera variationsmålet. Denna teknik är dock inte lätt att tillämpa på allmänt använda distributioner såsom beta eller gamma utan ytterligare approximationer, och de flesta praktiska tillämpningar av reparameterisering gradient passar Gaussian distributioner. I detta papper introducerar vi den generaliserade reparameteriseringsgradienten, en metod som förlänger reparameteriseringsgradienten till en bredare klass av variationsfördelningar. Generaliserade reparameteriseringar använder inverterbara omvandlingar av de latenta variablerna som leder till transformerade fördelningar som svagt beror på variationsparametrarna. Detta resulterar i nya Monte Carlo gradienter som kombinerar reparameterisering gradienter och poäng funktion gradienter. Vi demonstrerar vår inställning till variationsinferens för två komplexa probabilistiska modeller. Den generaliserade reparameteriseringen är effektiv: även ett enda prov från variationsfördelningen är tillräckligt för att erhålla en lågvariansgradient.
REF föreslog en generaliserad reparameteriseringsgradient för en bredare distributionsklass.
The Generalized Reparameterization Gradient
{'venue': 'NIPS', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}