Vi approximerar arabiskans rika morfologi med en modell som ett ord består av en sekvens av morfemer i mönstret prefix*-stam-suffix* (* betecknar noll eller fler förekomster av en morfem). Vår metod är sådd av en liten manuellt segmenterad arabisk corpus och använder den för att bootstrap en oövervakad algoritm för att bygga den arabiska ord segmenter från en stor osegmenterad arabisk corpus. Algoritmen använder en trigram språkmodell för att bestämma den mest sannolika morpheme sekvensen för en given ingång. Språkmodellen uppskattas ursprungligen från en liten manuellt segmenterad corpus på cirka 110.000 ord. För att förbättra segmenteringsnoggrannheten använder vi en oövervakad algoritm för att automatiskt förvärva nya stammar från en 155 miljoner ord osegmenterad corpus, och omvärdera modellparametrarna med den utökade vokabulär och träning corpus. Det resulterande arabiska ordsegmenteringssystemet uppnår ungefär 97% exakt matchningsnoggrannhet på en testkorpus innehållande 28.449 ord tokens. Vi tror att detta är en toppmodern prestanda och algoritmen kan användas för många högt böjda språk förutsatt att man kan skapa en liten manuellt segmenterad corpus av språket av intresse.
IBM-LM analysator använder en trigram språkmodell med en minimal uppsättning manuellt skapade regler REF.
Language Model Based Arabic Word Segmentation
{'venue': 'Annual Meeting Of The Association For Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}