Vi presenterar ett iterativt förfarande för att bygga en kinesisk språkmodell (LM). Vi delar in kinesisk text i ord baserat på en ordbaserad kinesisk språkmodell. Men byggandet av en kinesisk LM i sig kräver ordgränser. För att komma ur problemet med kyckling och ägg föreslår vi ett iterativt förfarande som växlar två operationer: att segmentera text i ord och bygga en LM. Med början med en första segmenterad corpus och en LM baserad på det, använder vi en Viterbi-liek algoritm för att segmentera en annan uppsättning data. Sedan bygger vi en LM baserad på den andra uppsättningen och använder den resulterande LM att segmentera igen den första corpus. Den alternerande proceduren ger ett självorganiserat sätt för segmentören att upptäcka automatiskt osynliga ord och korrigera segmenteringsfel. Vårt preliminära experiment visar att den alternerande proceduren inte bara förbättrar noggrannheten i vår segmentering, utan upptäcker osedda ord förvånansvärt väl. Den resulterande ordbaserade LM har en perplexitet på 188 för en allmän kinesisk corpus.
Vårt arbete antar viktiga komponenter i algoritmen från REF : språkmodell (LM) parameteruppskattning från en segmenterad corpus och ingång segmentering på grundval av LM sannolikheter.
An Iterative Algorithm To Build Chinese Language Models
{'venue': 'Annual Meeting Of The Association For Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}