Vi inför en ny utbildningsprincip för probabilistiska modeller som är ett alternativ till maximal sannolikhet. Det föreslagna ramverket för Generativa Stochastic Networks (GSN) bygger på att man lär sig övergångsoperatören av en Markov-kedja vars stationära distribution uppskattar datadistributionen. Övergångsfördelningen i Markov-kedjan är villkorad av den tidigare staten, som i allmänhet omfattar ett litet drag, så denna villkorade fördelning har färre dominerande transportsätt och är enmodal i gränsen för små drag. Således är det lättare att lära eftersom det är lättare att approximera sin partition funktion, mer som att lära sig att utföra övervakad funktion approximation, med lutningar som kan erhållas med backprop. Vi tillhandahåller teorem som generaliserar det senaste arbetet med den probabilistiska tolkningen av denoiserande autokodrar och får längs vägen en intressant motivering för beroendenätverk och generaliserat pseudolikeliskap, tillsammans med en definition av en lämplig mekanism för gemensam distribution och provtagning även när villkoren inte är konsekventa. GSNs kan användas med saknade ingångar och kan användas för att ta prov på undergrupper av variabler med tanke på resten. Vi validerar dessa teoretiska resultat med experiment på två bilddataset med hjälp av en arkitektur som efterliknar Deep Boltzmann Machine Gibbs sampler men tillåter träning för att fortsätta med enkel backprop, utan behov av lagervis förträning. För fordon av kategorierna M1 och N1 ska följande villkor vara uppfyllda: Överst: En denoiserande auto-encoder definierar en uppskattad Markov-kedja där övergångsoperatören först tar prover på ett korrumperatX från C(X på X) och sedan tar prover på en rekonstruktion från P (X på X), som är tränad för att uppskatta marksanningen P (X på X). Observera hur för någon givenX, P (X på X) är en mycket enklare (i stort sett unimodal) distribution än marken sanningen P (X) och dess partition funktion är därmed lättare att approxima. Nederst: Mer allmänt, en GSN tillåter användningen av godtycklig latent variabler H utöver X, med Markov kedja tillstånd (och blandning) som involverar både X och H. Här H är vinkeln om ursprunget. GSN ärver fördelen med en enklare villkor och lägger latenta variabler, som tillåter mycket mer kraftfulla djupa representationer där blandning är lättare (Bengio et al., 2013b). P(X) Ordförande
Generativa stokastiska nätverk REF som lär sig övergången operatör av en Markov kedja vars stationära distribution prover från datadistributionen är också relevanta för vårt arbete.
Deep Generative Stochastic Networks Trainable by Backprop
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}