Topic modellering analyserar dokument för att lära sig meningsfulla mönster av ord. Befintliga ämnesmodeller lär sig dock inte tolkningsbara ämnen när de arbetar med stora och tungsvansade ordförråd. I detta syfte utvecklar vi den inbyggda ämnesmodellen (ETM), en generativ modell av dokument som gifter sig med traditionella ämnesmodeller med ordinslag. I synnerhet, den modellerar varje ord med en kategorisk fördelning vars naturliga parameter är den inre produkten mellan ett ord inbäddning och en inbäddning av dess tilldelade ämne. För att passa ETM utvecklar vi en effektiv avskrivningaralgoritm för variationsinferens. ETM upptäcker tolkningsbara ämnen även med stora ordförråd som innehåller sällsynta ord och stoppord. Det överträffar befintliga dokumentmodeller, såsom latent Dirichlet allokering, både i fråga om ämneskvalitet och prediktiv prestanda.
Slutligen är ETM REF en probabilistisk ämnesmodell som också använder sig av ordinslag och använder avskrivning i sin slutledning.
Topic Modeling in Embedding Spaces
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}