Distribuerade täta ord vektorer har visat sig vara effektiva på att fånga tokenlevel semantiska och syntaktiska regulariteter i språket, medan ämnesmodeller kan bilda tolkningsbara representationer över dokument. I detta arbete beskriver vi lda2vek, en modell som lär sig täta ordvektorer tillsammans med Dirichlet-distribuerade latenta dokument-nivå blandningar av ämnesvektorer. I motsats till kontinuerliga täta dokumentrepresentationer producerar denna formulering glesa, tolkningsbara dokumentblandningar genom en icke-negativ simplexrestriktion. Vår metod är enkel att införliva i befintliga automatiska differentieringsramar och möjliggör oövervakade dokument representationer som är avsedda att användas av forskare samtidigt lära ord vektorer och de linjära sambanden mellan dem.
Moody REF utformade lda2vec som är en modell som lär sig ordvektorer tillsammans med Dirichletdistribuerade latenta dokument-nivå blandningar av ämnesvektorer.
Mixing Dirichlet Topic Models and Word Embeddings to Make lda2vec
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}