Ungefärliga sökalgoritmer, såsom kubbeskärning i syntaktisk maskinöversättning, förlitar sig på språkmodellen för att uppskatta sannolikheten för meningsfragment. Vi bidrar med två förändringar som handlar mellan exakthet av dessa uppskattningar och minne, håller mening nivå poäng konstant. Vanlig praxis använder lägre ordning poster i en N-gram modell för att göra de första orden i ett fragment; detta bryter antaganden som gjorts genom gemensamma utjämningsstrategier, inklusive Kneser- Ney. Istället använder vi en unigrammodell för att göra första ordet, en bigram för andra, etc. Detta förbättrar sökningen på bekostnad av minnet. Omvänt visar vi hur man sparar minne genom att kollapsa sannolikhet och backa in i ett enda värde utan att ändra poäng på straffnivå, på bekostnad av mindre exakta uppskattningar för meningsfragment. Dessa förändringar kan staplas, uppnå bättre uppskattningar med oförändrad minnesanvändning. För att tolka ändringar i söknoggrannheten justerar vi popgränsen så att noggrannheten är oförändrad och rapporterar förändringen i CPU-tid. I en tyskengelska Moses system med målsidan syntax, förbättrade uppskattningar gav en 63% minskning av CPU-tid; för en Hiero-stil version är minskningen 21%. Den komprimerade språkmodellen använder 26% mindre RAM medan motsvarande sökkvalitet tar 27% mer CPU. Källkoden släpps som en del av KenLM.
I tidigare arbete REF visade vi hur man kollapsar sannolikhet och backoff till ett enda värde utan att ändra sannolikheter på straffnivå.
Language Model Rest Costs and Space-Efficient Storage
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}