Sparse kodning-det vill säga, modellering data vektorer som sparsamma linjära kombinationer av baselement-är allmänt används i maskininlärning, neurovetenskap, signalbehandling, och statistik. Detta dokument fokuserar på det storskaliga matrisfaktoriseringsproblem som består i att lära sig den grund som fastställts för att anpassa den till specifika data. Variationer av detta problem inkluderar ordlista lärande i signalbehandling, icke-negativ matris factorization och gles huvudkomponentanalys. I detta dokument, föreslår vi att ta itu med dessa uppgifter med en ny online optimering algoritm, baserad på stokastiska approximationer, som skalar upp graciöst till stora datamängder med miljontals träningsprover, och sträcker sig naturligt till olika matris factorization formuleringar, vilket gör det lämpligt för ett brett utbud av inlärningsproblem. Ett bevis på konvergens presenteras, tillsammans med experiment med naturliga bilder och genomiska data som visar att det leder till state-of-the-art prestanda i termer av hastighet och optimering för både små och stora datamängder.
När det gäller storskalig sparse kodning och matris factorization baserad funktionsinlärning, en online optimering algoritm baserad på stokastiska approximationer infördes i REF.
Online Learning for Matrix Factorization and Sparse Coding
{'venue': 'Journal of Machine Learning Research 11 (2010) 19--60', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}