Statistiska metoder för automatisk textsammanfattning baserad på termfrekvens fortsätter att utföra i par med mer komplexa sammanräkningsmetoder. För att beräkna användbar frekvensstatistik måste dock de semantiskt viktiga orden skiljas från orden med låg innehållsfunktion. Det normala tillvägagångssättet med att använda en "preori stopword" lista tenderar att resultera i både undercoverage, där syntaktiska ord ses som semantiskt relevanta, och overcoverage, där ord relaterade till innehåll ignoreras. Vi presenterar en generativ probabilistisk modelleringsmetod för att bygga innehållsdistributioner för användning med statistisk multi-dokumentsammanfattning där syntaxorden lärs direkt från data med en dold Markov-modell och därmed bedöms som fokuserade i termen frekvensstatistik. Detta tillvägagångssätt jämförs med både en stopword-lista och POS-märkning, och vår metod visar förbättrad täckning på dataseten DUC 2006 och TAC 2010 med hjälp av ROUGE-måttet.
REF tillämpade den för att skilja de semantiskt viktiga orden från låginnehållsfunktionsorden.
Probabilistic Document Modeling for Syntax Removal in Text Summarization
{'venue': 'Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies', 'journal': None, 'mag_field_of_study': ['Computer Science']}