Autoencoders är en djupt lärande modell för representationsinlärning. När de tränas för att minimera Euclideans avstånd mellan datan och dess rekonstruktion, lär sig linjära autokodrar (LAE) det subrymd som spänns av de översta huvudriktningarna men kan inte lära sig de huvudsakliga riktningarna själva. I den här artikeln visar vi att L 2 -regulariserade LAEs lär sig de viktigaste riktningarna som vänster singular vektorer av dekoder, vilket ger en extremt enkel och skalbar algoritm för rank-k SVD. Mer allmänt anser vi att LAE med (i) ingen regularisering, (ii) regularisering av sammansättningen av kodaren och dekoder, och (iii) regularisering av kodaren och dekoder separat. Vi relaterar det minsta av (iii) till MAP uppskattningen av probabilistiska PCA och visar att för alla kritiska punkter enkoder och dekoder införlivas. Med utgångspunkt i topologisk intuition paraferar vi smidigt de kritiska grenrören för alla tre förlusterna via ett nytt enhetligt ramverk och illustrerar dessa resultat empiriskt. Sammantaget klargör detta arbete förhållandet mellan autoenkodare och Bayesian modeller och mellan legalisering och ortogonalitet.
Ref överväga legaliseringar i linjära autokodrar och analysera kritiska punkter för tre mål.
Loss Landscapes of Regularized Linear Autoencoders
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}