Vi tillhandahåller teoretiska och empiriska bevis för att användning av snävare bevis lägre gränser (ELBOs) kan vara skadligt för processen att lära sig en slutledning nätverk genom att minska signal-till-brus förhållandet i gradient uppskattningen. Våra resultat ifrågasätter gemensamma implicita antaganden om att hårdare ELBO är bättre variationsmål för simultant modellinlärning och avskrivningssystem. Baserat på våra insikter introducerar vi tre nya algoritmer: den delvis viktade auto-encoder (PIWAE), den multiplikationsviktade auto-encoder (MIWAE), och kombinationen viktad autoencoder (CIWAE), som var och en inkluderar den standardviktade auto-encoder (IWAE) som ett specialfall. Vi visar att var och en kan leverera förbättringar över IWAE, även när prestanda mäts med IWAE-målet självt. Dessutom tyder våra resultat på att PIWAE kan leverera samtidiga förbättringar i utbildningen av både inferens och generativa nätverk.
I REF noteras dock att förhållandet mellan signal och buller i kodarens lutning försvinner med ökande antal viktprover (minskad bias), vilket gör kodaren till en ineffektiv representationsmodell i gränsfallet.
Tighter Variational Bounds are Not Necessarily Better
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}