Abstract Kneser- Ney (1995) utjämning och dess varianter är allmänt erkända som att ha den bästa perplexitet av någon känd metod för att uppskatta N-gram språkmodeller. Kneser- Ney utjämning, dock kräver icke-standard N-gram räknas för den lägre ordningen modeller som används för att jämna den högsta ordningen modell. För vissa applikationer, detta gör Kneser- Ney utjämning olämpligt eller obekvämt. I detta dokument introducerar vi en ny utjämningsmetod baserad på vanliga beräkningar som överträffar alla tidigare vanliga beräkningsmetoder som vi har testat, med den nya metoden som eliminerar det mesta av klyftan mellan Kneser-Ney och dessa metoder.
Moore och Quirk REF beskrivs utjämningsmetod för N-gram språkmodeller baserat på vanliga räkningar för generation språkmodeller som kan använda för kvalitetsbedömning uppgift.
Improved Smoothing for N-gram Language Models Based on Ordinary Counts
{'venue': 'ACL-IJCNLP: Short Papers', 'journal': None, 'mag_field_of_study': ['Computer Science']}