I detta dokument introduceras den nya uppgiften att utvärdera ämnessammanhållning, där en rad ord, som genereras av en ämnesmodell, bedöms vara konsekventa eller tolkningsbara. Vi tillämpar en rad ämnesscoring modeller på utvärderingen uppgiften, med hjälp av WordNet, Wikipedia och Google sökmotor, och befintlig forskning om lexikal likhet / relateradhet. I jämförelse med mänskliga poäng för en uppsättning inlärda ämnen över två olika datauppsättningar, visar vi en enkel co-occurence mäter baserat på punktvis ömsesidig information över Wikipedia data kan uppnå resultat för uppgiften på eller närmar sig nivån av inter-annotator korrelation, och att andra Wikipedia-baserade lexical relatedness metoder också uppnå starka resultat. Google producerar starka, om än mindre konsekventa, resultat, medan våra resultat över WordNet är ojämna i bästa fall.
Newman och Al. I Ref föreslås en åtgärd för ämnessammanhållning som grundar sig på punktvis ömsesidig information.
Automatic Evaluation of Topic Coherence
{'venue': 'Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}