N -gram språkmodeller är en stor resurs flaskhals i maskinöversättning. I detta dokument presenterar vi flera språkmodellimplementationer som är både mycket kompakta och snabba att fråga. Vår snabbaste implementering är lika snabb som den allmänt använda SRILM samtidigt kräver endast 25% av lagringen. Vår mest kompakta representation kan lagra alla 4 miljarder n-gram och tillhörande räknas för Google n-gram corpus i 23 bitar per n-gram, den mest kompakta förlustfri representation hittills, och ännu mer kompakt än senaste förlustkompression tekniker. Vi diskuterar också tekniker för att förbättra frågehastigheten under avkodningen, inklusive en enkel men ny språkmodell caching teknik som förbättrar frågehastigheten för våra språkmodeller (och SRILM) med upp till 300%.
Pauls och Klein REF lagrar samma datauppsättning, som innehåller 4 miljarder n-gram, med tillhörande frekvensantal, i 23 bitar per n-gram, i ett förlustfritt schema.
Faster and Smaller N-Gram Language Models
{'venue': 'Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies', 'journal': None, 'mag_field_of_study': ['Computer Science']}