Vi föreslår en distributionsbaserad beskärning av n-gram backoff språkmodeller. I stället för den konventionella metoden att beskära n-gram som är sällsynta i utbildningsdata, beskär vi n-gram som sannolikt kommer att vara sällsynta i ett nytt dokument. Vår metod är baserad på n-gramdistributionen d.v.s. sannolikheten för att ett n-gram förekommer i ett nytt dokument. Experimentella resultat visar att vår metod utförde 7-9% (word perplexity reduction) bättre än konventionella cutoff-metoder.
I Ref föreslogs en distributionsbaserad beskärning.
Distribution-Based Pruning Of Backoff Language Models
{'venue': 'Annual Meeting Of The Association For Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}