Överfullständiga latent representationer har varit mycket populär för oövervakad funktionsinlärning under de senaste åren. I detta dokument anger vi vilka överkompletta modeller som kan identifieras med hjälp av observerbara ögonblick av en viss ordning. Vi anser att probabilistiska inblandnings- eller ämnesmodeller i den överkompletta regimen, där antalet latenta ämnen i hög grad kan överstiga storleken på det observerade ordet vokabulär. Även om allmänna överkompletta ämnesmodeller inte är identifierbara, vi etablera generiska identififiability under en begränsning, kallas ämnespersistens. Våra tillräckliga förutsättningar för identififiability innebär en ny uppsättning av "högre ordning" expansionsvillkor på ämnesordsmatrisen eller befolkningsstrukturen i modellen. Denna uppsättning av högre-order expansion villkor tillåter överkompletta modeller, och kräver existensen av en perfekt matchning från latenta ämnen till högre ordning observerade ord. Vi fastställer att slumpmässiga strukturerade ämnesmodeller är identifierbara w.h.p. i den överfullständiga regimen. Våra identifierbarhetsresultat möjliggör allmänna (icke-degenererade) distributioner för modellering av ämnesdimensioner, och därmed kan vi hantera godtyckligt korrelerade ämnen i vårt ramverk. Våra identifiability resultat innebär unikhet av en klass av tensor nedbrytningar med strukturerad sparhet som ingår i klassen av Tucker nedbrytningar, men är mer allmän än Candecomp / Parafac (CP) nedbrytning.
Det senaste arbetet Ref överväger ämnesmodeller i den överkompletta inställningen, och ger garantier när A uppfyller strukturerad sparsamhet med expansionsvillkor.
When are Overcomplete Topic Models Identifiable? Uniqueness of Tensor Tucker Decompositions with Structured Sparsity
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}