Diskret latent-variable modeller, även om det är tillämpligt i en mängd olika inställningar, kan ofta vara svårt att lära. Provtagning diskret latent variabler kan resultera i högvarians gradient estimatorer av två primära skäl: 1. grenning på proverna inom modellen, och 2. avsaknaden av ett patologiskt derivat för proverna. Även om de nuvarande moderna metoderna använder sig av kontrollvarianta system för de tidigare och kontinuerliga avräkningsmetoderna för de senare, begränsas deras användbarhet av komplexiteten i att genomföra och utbilda effektiva kontrollvarianta system och behovet av att utvärdera (potentiellt exponentiellt) många grenvägar i modellen. Här ser vi över den omviktade wake-sömn (RWS) (Bornschein och Bengio, 2015) algoritmen, och genom omfattande utvärderingar, visar att den kringgår båda dessa frågor, outperforming nuvarande state-of-the-art metoder i lärande diskret latent-variable modeller. Dessutom observerar vi att RWS, till skillnad från vikten viktad autoencoder, lär sig bättre modeller och inference nätverk med ökande antal partiklar, och att dess fördelar sträcker sig till kontinuerlig latent-variable modeller också. Våra resultat tyder på att RWS är ett konkurrenskraftigt, ofta att föredra, alternativ för att lära sig djupa generativa modeller.
REF visar också att den omviktade wake-sleep (RWS) (Bornschein och Bengio, 2014) inte lider av denna fråga.
Revisiting Reweighted Wake-Sleep
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}