Detta dokument rapporterar om fördelarna med storskalig statistisk språkmodellering i maskinöversättning. En distribuerad infrastruktur föreslås som vi använder för att träna på upp till 2 biljoner polletter, vilket resulterar i att språkmodeller har upp till 300 miljarder n-gram. Den kan tillhandahålla smidiga sannolikheter för snabb avkodning med en passage. Vi introducerar en ny utjämningsmetod, dubbad dum Backoff, som är billig att träna på stora datamängder och närmar sig kvaliteten på Kneser- Ney Smoothing när mängden träningsdata ökar.
Brants m.fl. REF varierade mängden av språkmodell utbildningsdata från 13 miljoner till 2 biljoner tokens och tillämpade dessa modeller till maskinöversättningssystem.
Large Language Models in Machine Translation
{'venue': '2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL)', 'journal': None, 'mag_field_of_study': ['Computer Science']}