Vi ger en serie av resultat för oövervakade lärande med autoencoders. Speciellt studerar vi grunda tvålagers autoenkoder arkitekturer med delade vikter. Vi fokuserar på tre generativa modeller för data som är vanliga i statistisk maskininlärning: (i) blandning-av-gaussianer modell, (ii) sparse kodning modell, och (iii) sparty modell med icke-negativa koefficienter. För var och en av dessa modeller, vi bevisar att under lämpliga val av hyperparametrar, arkitekturer, och initiering, autoencoders lärt sig av lutning nedstigning kan framgångsrikt återställa parametrarna för motsvarande modell. Enligt vår kunskap är detta det första resultatet som noggrant studerar dynamiken i lutning nedstigning för viktdelning autoencoders. Vår analys kan ses som teoretiska bevis för att grunda autoenkodermoduler verkligen kan användas som funktionsinlärningsmekanismer för en mängd olika datamodeller, och kan sprida insikter om hur man utbildar större staplade arkitekturer med autoenkodrar som grundläggande byggstenar.
Ett nyligen utfört arbete REF bevisar att utbildning av en autoencoder via lutningsnedstigning möjligen kan återställa en linjär generativ modell.
Autoencoders Learn Generative Linear Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}