Frekvensräkningar från mycket stora corpora, såsom Web 1T dataset, har nyligen blivit tillgängliga för språkmodellering. Utelämnande av n-gram med låg frekvens är en praktisk nödvändighet för datamängder av denna storlek. Naiva implementeringar av standard utjämningsmetoder inte inser den fulla potentialen av sådana stora datauppsättningar med saknade räknas. I detta dokument presenterar jag en ny utjämningsalgoritm som kombinerar Dirichlet tidigare form av (Mackay och Peto, 1995) med modifierade back-off uppskattningar av (Kneser och Ney, 1995 ) som leder till en 31% perplexity minskning på Brown corpus jämfört med en baslinje genomförande av Kneser-Ney diskontering.
Orsaken till den saknade räkningen beror på utelämnandet av N-gram med låg frekvens i corpus. REF visar att med en modifierad version av Kneser- Ney utjämning algoritm, namngiven som Dirichlet-Kneser- Ney, en 31% minskning av perplexitet kan erhållas på Brown corpus.
Smoothing a Tera-word Language Model
{'venue': 'Annual Meeting Of The Association For Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}