Vi observerar att lutningar som beräknas via reparameteriseringstricket är i direkt korrespondens med lösningar av transportekvationen i formalismen av optimal transport. Vi använder detta perspektiv för att beräkna (ungefär) vägvisa gradienter för sannolikhetsfördelningar som inte direkt kan användas till reparameteriseringstricket: Gamma, Beta och Dirichlet. Vi observerar vidare att när reparameteriseringstricket appliceras på Choleskyfactorized multivariat Normalfördelning är de resulterande gradienterna suboptimala i betydelsen optimal transport. Vi härleder de optimala gradienterna och visar att de har minskat variansen i en Gaussian Process regression uppgift. Vi demonstrerar med en mängd olika syntetiska experiment och stokastiska variationsinferens uppgifter att våra vägvisa gradienter är konkurrenskraftiga med andra metoder.
Vårt arbete är närmast REF, som använder transportekvationen för att härleda en "OMT" gradient uppskattning för multivariat Normal fördelning vars hastighet fält är optimal i betydelsen optimal transport.
Pathwise Derivatives Beyond the Reparameterization Trick
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}