Abstrakt. Genom detta dokument införs ett nytt statistiskt tillvägagångssätt för att automatiskt dela upp texten i sammanhängande segment. Metoden bygger på en teknik som stegvis bygger en exponentiell modell för att extrahera funktioner som är korrelerade med förekomsten av gränser i märkt träningstext. Modellerna använder två kategorier av funktioner: aktualitetsfunktioner som använder adaptiva språkmodeller på ett nytt sätt för att upptäcka breda förändringar av ämne, och cue-word-funktioner som upptäcker förekomster av specifika ord, som kan vara domänspecifika, som tenderar att användas nära segmentgränser. Bedömning av vår strategi på kvantitativa och kvalitativa grunder visar dess effektivitet inom två mycket olika områden, Wall Street Journal nyhetsartiklar och tv-sändningar nyhetsutskrifter. Kvantitativa resultat på dessa områden presenteras med hjälp av en ny probabilistiskt motiverad fel metriska, som kombinerar precision och återkalla på ett naturligt och flexibelt sätt. Detta mått används för att göra en kvantitativ bedömning av de relativa bidragen från de olika funktionstyperna, samt en jämförelse med beslutsträd och tidigare föreslagna textsegmenteringsalgoritmer.
REF använder språkmodeller för att upptäcka ämnesförskjutningar och kombinera dem med teckenordsfunktioner i en maximal entropimodell.
Statistical Models for Text Segmentation
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Computer Science']}