Mycket uttrycksfulla riktade latenta variabla modeller, såsom sigmoida trosnätverk, är svåra att träna på stora dataset eftersom exakta slutsatser i dem är intractable och ingen av de ungefärliga inference metoder som har tillämpats på dem skala väl. Vi föreslår en snabb icke-iterativ approximativ inferensmetod som använder ett feedforward-nätverk för att genomföra effektiv exakt provtagning från variationssidan. Modellen och detta inference nätverk tränas gemensamt genom att maximera en variationell lägre gräns på log-likelihood. Även om den naiva uppskattningen av inference nätverk gradient är för hög variation för att vara användbar, vi gör det praktiskt genom att tillämpa flera enkla modelloberoende variansreduktion tekniker. Genom att tillämpa vår strategi för att utbilda sigmoida trosnätverk och djupa autoregressiva nätverk, visar vi att det överträffar wake-sömn-algoritmen på MNIST och uppnår toppmoderna resultat på Reuters RCV1-dokumentdatauppsättningen.
Neural variationsinferens och inlärning (NVIL) REF tränar båda nätverken för att maximera en variationell lägre gräns på log-likelihood.
Neural Variational Inference and Learning in Belief Networks
{'venue': 'Proceedings of the 31st International Conference on Machine Learning (ICML), JMLR: W&CP volume 32, 2014 pgs 1791-1799', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}