Klusterbaserad n-gram-modellering är en variant av normal ordbaserad n-gram-modellering. Den försöker utnyttja likheterna mellan orden. I den här artikeln presenterar vi en empirisk studie av klusterteknik för modellering av asiatiska språk. Kluster används för att förbättra prestandan (dvs. Perplexitet) för språkmodeller samt för att komprimera språkmodeller. Experimentella tester presenteras för klusterbaserade trigrammodeller på en japansk tidning corpus och på en kinesisk heterogen corpus. Medan majoriteten av tidigare forskning om ordet kluster har fokuserat på hur man får de bästa kluster, har vi koncentrerat vår forskning på det bästa sättet att använda kluster. Experimentella resultat visar att vissa nya tekniker vi presenterar fungerar mycket bättre än tidigare metoder, och uppnå mer än 40% storleksminskning på samma nivå av perplexitet.
Ref presenterade en ganska grundlig empirisk studie av klusterteknik för modellering av asiatiska språk.
The Use of Clustering Techniques for Language Modeling-Application to Asian Language
{'venue': 'IJCLCLP', 'journal': 'IJCLCLP', 'mag_field_of_study': ['Computer Science']}