Vi introducerar factored language models (FLMs) och generalized parallell backoff (GPB). En FLM representerar ord som buntar av funktioner (t.ex. morfologiska klasser, stammar, datadrivna kluster, etc.).), och framkallar en sannolikhetsmodell som täcker sekvenser av buntar snarare än bara ord. GPB utvidgar standardbackoff till allmänna villkorade sannolikhetstabeller där variabler kan vara heterogena typer, där det inte finns någon uppenbar naturlig (temporal) backoff-ordning och där flera dynamiska backoff-strategier är tillåtna. Dessa metoder genomfördes under workshopen i JHU 2002 som tillägg till verktygslådan för språkmodellering i SRI. Detta papper ger inledande perplexitet resultat på både CallHome Arabiska och på Penn Treebank Wall Street Journal artiklar. Signifikant kan FLM med GPB producera bigrams med signifikant lägre perplexitet, ibland lägre än högt optimerade trigram vid baseline. I ett multi-pass taligenkänning sammanhang, där bigrams används för att skapa första-pass bigram lattices eller N-bästa listor, dessa resultat är mycket relevanta.
Generativa faktoriserade språkmodeller föreslås av REF.
Factored Language Models And Generalized Parallel Backoff
{'venue': 'Human Language Technology Conference And Meeting Of The North American Association For Computational Linguistics - Short Papers', 'journal': None, 'mag_field_of_study': ['Computer Science']}