När en trigram backoff språkmodell skapas från en stor mängd text, mgrams och bigrams som förekommer några gånger i utbildningen t a t är ofta uteslutna från modellen för att de-Skapa modellstorleken. Generellt anses elimineringen av n-gram med mycket låga värden inte ha någon signifikant inverkan på modellens prestanda. Detta projekt undersöker nedbrytningen av en trigram backoff-modells perplexitet och word felfrekvenser som bigram och trigram cutoffs ökar. Fördelen med en minskning av modellstorleken jämförs med ökningen av word e m r rate och perplexity scores. Ännu viktigare är att detta projekt också undersöker alternativa sätt att utesluta bigrams och trigrams från en backoff språkmodell, med hjälp av andra kriterier än antalet gånger ett n-gram förekommer i träningstexten. Närmare bestämt har en skillnadsmetod undersökts där skillnaden i loggarna för original och säkerhetskopierade Uigram och bigram sannolikheter används som grund för n-gram uteslutning från modellen. Vi visar att exklusive mgrams och bigrams baserat på en viktad vmion av denna skillnad metod resulterar i bättre perplexitet och ordfelhastighet prestanda än exklusive trigrams och bigrams baserade på räkningar ensam. Cumnt samlingar av text för statistiska språk modell rränning båge gör det glesa utbildningsdata problemet mindre allvarligt för vissa områden. såsom ARPA: s Wall Street Journal corpus, som är en del av 305 miljoner ordet Nonh American Business News samling. Ju mer träningstext som används för att skapa språkmodeller, desto mer unika ordsekvenser stöter man på som måste lagras i modellen. I takt med att utbildningens textstorlek ökar ökar språkmodellens storlek med nödvändighet, vilket kan leda till modeller som är alltför otympliga och minneskrävande för att vara till praktisk nytta. Detta överflöd av träningsdata kommer att göra det möjligt för oss, eller snarare tvinga oss, att vara selektiva när vi väljer de träningsdata som vi använder för att skapa våra modeller. Vi utforskar två metoder för utbildning u t beskärning som möjliggör kompakt och effektivt skapande av trigram backoff lanl guage modeller. Effekterna av den ursprungliga mängden träningsdata på en skållad modell undersöks också. Den backoff språkmodellen utvecklades av Kaa [2] för att ta itu med de problem som är förknippade med glesa utbildningsdata. Små tal resulterar i otillförlitliga uppskattningar. Backoff-modellen hanterar denna typ av provtagningsfel genom att diskontera sannolikheten för låg räkning och fördela den frigjorda sannolikhetsmassan bland osedda händelser. När mängden träningstext som används för att skapa backoff modellen ökar, ökar antalet unika mgrams och bi,orams. Språkmodellen kommer med nödvändighet att ta upp mer minne för att lagra ytterligare information från träningstexten Vid något tillfälle kommer modellens minneskrav att överstiga all praktisk systemkapacitet. Därför kan vi antingen begränsa mängden träningsdata vi använder för att utveckla modellen, eller ta från en stor mängd träningstext den del som leder till de mest tillförlitliga ordförutsägelser. Ordsekvenser som inträffar det minsta antalet gånger i en träningstext kan leda till opålitliga förutsägelser. Denna idé har lett till den populära cutoff metoden för att träna textreduktion, där endast information om de vanligaste bigrams och trigrams ingår i språkmodellen. Denna metod kommer att undersökas ingående i avsnitt 3.1. Men vi måste också överväga de ordsekvenser för vilka modellen inte skulle göra en bra förutsägelse om de eliminerades från modellen. Denna idé har lett till utvecklingen av den viktade skillnadsmetoden för utbildningstext Eduction, som kommer att införas i avsnitt 3.2. Cutoff-metoden av utbildning textbeskärning utesluter från Ianguage modellen de bigrams och trigrams som förekommer sällan. Motiveringen till denna metod ligger i argumentet att det inte finns någon större skillnad mellan en mgxam eller bigram som inträffar en gång i en t a t miljoner ord och att det inte förekommer alls. Bara genom att utesluta de n-gram med ett antal från en modell, en betydande besparingar i minne kan uppnås, I en typisk träningstext, ungefär 80% av unika aigram sekvenser förekommer endast en gång. Denna idé kan utvidgas fuaher till bigrams och trigrams som inträffar ett antal gånger. Vi kan utse en trigram cutoff och en bigram cutoff, och 232
Ref visade att denna metod är mer effektiv än den traditionella brytpunkten.
Scalable backoff language models
{'venue': "Proceeding of Fourth International Conference on Spoken Language Processing. ICSLP '96", 'journal': "Proceeding of Fourth International Conference on Spoken Language Processing. ICSLP '96", 'mag_field_of_study': ['Computer Science']}