Generativa modeller för djupinlärning är lovande både för att förbättra förståelsen av modellen och ge utbildningsmetoder som kräver färre märkta prover. Nya verk använder generativa modeller för att producera det djupa nätets ingång med tanke på värdet av ett dolt lager flera nivåer ovan. Det finns dock ingen tillhörande "korrekthetssäkra" för den generativa modellen, som visar att feedforward djupt nät är den korrekta inference metoden för att återställa det dolda lagret med tanke på inmatningen. Dessutom är dessa modeller komplicerade. Den aktuella uppsatsen tar ett mer teoretiskt grepp. Den presenterar en mycket enkel generativ modell för RELU djupa nät, med följande egenskaper: (i) Den generativa modellen är bara den omvända av feedforward nätet: om framåt omvandling vid ett lager är A då den omvända omvandlingen är A T. (Detta kan ses som en förklaring till den gamla vikt binda idé för denoizing autoencoders.) (ii) Dess korrekthet kan bevisas under ett rent teoretiskt antagande: kantvikterna i verkliga djupnät beter sig som slumpmässiga tal. Enligt detta antagande -som testas experimentellt på verkliga nät som AlexNet-det är formellt bevisat att foder framåt nät är en korrekt slutsats metod för att återställa det dolda lagret. Den generativa modellen föreslår en enkel förändring av utbildningen: använd den generativa modellen för att producera syntetisk data med etiketter och inkludera den i träningssetet. Experiment visas för att stödja denna teori om slumpmässiga-liknande djupa nät; och att det hjälper utbildningen.
Arora, Liang och Ma REF föreslår ur ett teoretiskt perspektiv att det är möjligt att konstruera och träna en generativ modell som är motsatsen till feedforward-nätverket.
Why are deep nets reversible: A simple theory, with implications for training
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}