I en rad olika problem som har sitt ursprung i övervakad, oövervakad och förstärkande inlärning, definieras förlustfunktionen av en förväntan över en samling slumpmässiga variabler, som kan vara en del av en probabilistisk modell eller den yttre världen. Uppskattning lutningen av denna förlust funktion, med hjälp av prover, ligger i kärnan av gradient-baserade inlärningsalgoritmer för dessa problem. Vi introducerar formalismen av stokastiska beräkningsgrafer-riktade acykliska grafer som inkluderar både deterministiska funktioner och villkorliga sannolikhetsfördelningar-och beskriva hur man enkelt och automatiskt härleda en opartisk estimator av förlustfunktionens gradient. Den resulterande algoritmen för beräkning av lutningsestimatorn är en enkel ändring av den standardiserade backpropagation-algoritmen. Det generiska systemet vi föreslår förenar estimatorer som härletts i olika tidigare arbeten, tillsammans med variansreducerande tekniker där. Det skulle kunna hjälpa forskare att utveckla invecklade modeller med en kombination av stokastiska och deterministiska operationer, vilket till exempel möjliggör uppmärksamhet, minne och kontrollåtgärder.
För allmänna förväntningar uttryckte REF lutningen som en summa av en repameteriseringsterm och en korrektionsterm för att automatiskt uppskatta lutningen i samband med stokastiska beräkningsdiagram.
Gradient Estimation Using Stochastic Computation Graphs
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}