Djupa neurala nätverk är kraftfulla parametriska modeller som kan tränas effektivt med hjälp av backpropagation algoritm. Stochastic neurala nätverk kombinerar kraften i stora parametriska funktioner med den av grafiska modeller, vilket gör det möjligt att lära sig mycket komplexa distributioner. Eftersom backpropagation inte är direkt tillämplig på stokastiska nätverk som inkluderar diskreta provtagningar i sina beräkningsdiagram, är det fortfarande svårt att utbilda sådana nätverk. Vi presenterar MuProp, en objektiv gradient uppskattning för stokastiska nätverk, utformad för att göra denna uppgift lättare. MuProp förbättrar sannolikheten-förhållandet estimator genom att minska sin varians med hjälp av en kontroll variat baserat på den första ordningen Taylor expansion av ett medelfält nätverk. Avgörande, till skillnad från tidigare försök att använda backpropagation för utbildning stokastiska nätverk, den resulterande estimator är opartisk och väluppfostrade. Våra experiment på strukturerad output förutsägelse och diskret latent variabel modellering visar att MuProp ger konsekvent bra prestanda över en rad svåra uppgifter.
MuProp REF använder den första ordningen Taylor expansion som en kontroll variat, lämnar den deterministiska termen beräknas av ett medelfält nätverk.
MuProp: Unbiased Backpropagation for Stochastic Neural Networks
{'venue': 'ICLR 2016', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}