Ständiga rymdord inbäddade från stora, ostrukturerade corpora har visat sig vara effektiva när det gäller att fånga semantiska regulariteter i språket. I detta papper ersätter vi LDA: s parameterisering av "topics" som kategoriska fördelningar över ogenomskinliga ordtyper med multivariata Gaussiska fördelningar på inbäddningsutrymmet. Detta uppmuntrar modellen att gruppera ord som tidigare är kända för att vara semantiskt relaterade till ämnen. För att göra slutledning, introducerar vi en snabbt kollapsad Gibbs provtagningsalgoritm baserad på Cholesky nedbrytningar av covariance matriser av de bakre prediktiva fördelningarna. Vi härleder vidare en skalbar algoritm som tar prover från gamla bakre prediktiva distributioner och korrigerar dem med ett Metropolis-Hastings steg. Med hjälp av vektorer inlärda från en domän-general corpus (Engelska Wikipedia), rapporterar vi resultat på två dokumentsamlingar (20-newsgroups och NIPS). Kvalitativt kan Gaussian LDA dra slutsatser om olika (men ändå mycket förnuftiga) ämnen i förhållande till standard LDA. Kvantitativt överträffar vår teknik befintliga modeller för att hantera OOV-ord i utdragna dokument.
Den närmaste modellen till LCTM är Gaussian LDA REF, som modellerar varje ämne som en Gaussian fördelning över ordet inbäddning utrymme.
Gaussian LDA for Topic Models with Word Embeddings
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}