Faktoranalys, huvudkomponentanalys, blandningar av gaussianska kluster, vektorquantization, Kalman filtermodeller, och dolda Markov modeller kan alla förenas som variationer av oövervakat lärande under en enda grundläggande generativ modell. Detta uppnås genom att samla olika observationer och härledningar som gjorts av många tidigare författare och införa ett nytt sätt att koppla samman diskreta och kontinuerliga tillståndsmodeller med hjälp av en enkel icke-linjäritet. Genom att använda andra icke-linjäriteter visar vi hur oberoende komponentanalys också är en variation av samma grundläggande generativa modell. Vi visar att faktoranalys och blandningar av gaussians kan genomföras i autoencoder neurala nätverk och lärt sig med hjälp av kvadratfel plus samma legalisering term. Vi introducerar en ny modell för statiska data, känd som förnuftig huvudkomponentanalys, samt ett nytt koncept för rumsligt adaptivt observationsbuller. Vi går också igenom en del av litteraturen med globala och lokala blandningar av grundmodellerna och tillhandahåller pseudokod för slutsatser och lärande för alla grundmodeller. Många vanliga statistiska tekniker för att modellera multidimensionella statiska datamängder och flerdimensionella tidsserier kan ses som varianter av en underliggande modell. Som vi kommer att visa, dessa inkluderar faktoranalys, huvudkomponentanalys (PCA), blandningar av gaussian kluster, vektorquantization, oberoende komponentanalys modeller (ICA), Kalman filter modeller (även känd som linjära dynamiska system), och dolda Markov modeller (HMMs). Förhållandet mellan några av dessa modeller har noterats i förbigående i den senaste litteraturen. Till exempel, Hinton, Revow, och Dayan (1995) notera att FA och PCA är nära besläktade, och Digalakis, Rohlicek och Ostendorf (1993) relaterar framåt-backward algoritm för HMMs till * Nuvarande adress: {roweis, zoubin}@gatsby.ucl.ac.uk.
REF: s "generativ modell för generativa modeller" presenterar en lattice som visar samband mellan olika modeller.
A Unifying Review of Linear Gaussian Models
{'venue': 'Neural Computation', 'journal': 'Neural Computation', 'mag_field_of_study': ['Mathematics', 'Computer Science', 'Medicine']}