Nya text- och talbehandlingstillämpningar som talbrytning ger upphov till nya och mer allmänna problem i samband med konstruktion av språkmodeller. Vi presenterar och beskriver i detalj flera nya och effektiva algoritmer för att ta itu med dessa mer allmänna problem och rapporterar experimentella resultat som visar deras användbarhet. Vi ger en algoritm för beräkning effektivt de förväntade räkningarna av någon sekvens i ett ord lattice utdata av en taligenkänning eller någon godtycklig viktad automaton; beskriva en ny teknik för att skapa exakta representationer av ¢-gram språkmodeller genom viktad automata vars storlek är praktiskt för offline användning även för en ordförrådsstorlek på cirka 500 000 ord och en; och presentera en enkel och mer allmän teknik för att konstruera klassbaserade språkmodeller som gör att varje klass att representera en godtycklig viktad automaton. En effektiv implementering av våra algoritmer och tekniker har integrerats i ett allmänt programvarubibliotek för språkmodellering, GRM-biblioteket, som innehåller många andra funktioner för text- och grammatikbearbetning. Statistiska språkmodeller är viktiga komponenter i många moderna naturliga språkbehandlingssystem såsom taligenkänning, informationsutdrag, maskinöversättning eller dokumentklassificering. I samtliga fall används en språkmodell i kombination med andra informationskällor för att rangordna alternativa hypoteser genom att ge dem vissa sannolikheter. Det finns klassiska tekniker för att konstruera språkmodeller som ¢-gram modeller med olika utjämningstekniker (se Chen och Goodman (1998) och referenser där för en undersökning och jämförelse av dessa tekniker). I vissa nya tillämpningar för text- och talbehandling uppstår flera nya och mer allmänna problem som har att göra med konstruktion av språkmodeller. Vi presenterar nya och effektiva algoritmer för att ta itu med dessa mer allmänna problem. Räknar. Klassiska språkmodeller konstrueras genom att härleda statistik från stora ingångstexter. I talbrytningstillämpningar eller i anpassningssyfte behöver man ofta konstruera en språkmodell baserad på utdata från ett taligenkänningssystem. Men resultatet av ett igenkänningssystem är inte bara text. I själva verket är ordet felfrekvens av konversationstal igenkänningssystem fortfarande för hög i många uppgifter för att förlita sig endast på den en-bästa utdata av igenkännaren. Således används ordet lattice utdata från taligenkänningssystem istället eftersom det innehåller rätt transkription i de flesta fall. Ett ord lattice är en viktad ändlig automaton (WFA) utdata från kännaren för ett visst uttalande. Den innehåller vanligtvis en mycket stor uppsättning alternativa transkription meningar för detta uttalande med motsvarande vikter eller sannolikheter. Ett nödvändigt steg för att konstruera en språkmodell baserad på ett ord lattice är att härleda statistiken för varje given sekvens från lattices eller WFAs utdata från kännaren. Detta kan inte göras genom att helt enkelt räkna varje väg av lattice och räkna antalet förekomster av den sekvens som beaktas i varje väg eftersom antalet stigar av även en liten automaton kan vara mer än fyra miljarder. Vi presenterar en enkel och effektiv algoritm för beräkning av den förväntade räkningen av en given sekvens i en WFA och rapporterar experimentella resultat som visar dess effektivitet. WFA:s representation av språkmodeller. Klassiska ¢-gram språkmodeller medger en naturlig representation av WFAs där varje stat kodar en vänster kontext av bredd mindre än ¢. Men storleken på den representationen gör det opraktiskt för offline optimeringar såsom de som används i stor-vokabulary taligenkänning eller allmänna information extraktionssystem. De flesta offline representationer av dessa modeller bygger i stället på en approximation för att begränsa deras storlek. Vi beskriver en ny teknik för att skapa en exakt representation av ¢-gram språkmodeller av WFAs vars storlek är praktiskt för offline användning även i uppgifter med en ordförrådsstorlek på cirka 500.000 ord och för ¢ § £ ¥. Klassbaserade modeller. I många tillämpningar är det naturligt och bekvämt att konstruera klassbaserade språkmodeller, det är modeller baserade på klasser av ord (Brown et al., 1992). Sådana modeller är också ofta mer robusta eftersom de kan innehålla ord som tillhör en klass men som inte fanns i corpus. Klassiska klassbaserade modeller bygger på enkla klasser som en lista över ord. Men nya klusteralgoritmer gör det möjligt för en att skapa mer allmänna och mer komplexa klasser som kan vara vanliga språk. Mycket stora och komplexa klasser kan också definieras med hjälp av reguljära uttryck. Vi presenterar en enkel och mer allmän strategi för klassbaserade språkmodeller baserat på allmänna viktade kontextberoende regler
REF utvecklade effektiva algoritmer för att konstruera statistiska språkmodeller genom att utnyttja den algebraiska strukturen hos sannolikhetshalveringen.
Generalized Algorithms For Constructing Statistical Language Models
{'venue': 'Annual Meeting Of The Association For Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}