Vi presenterar en stokastisk finit-state modell för segmentering av kinesisk text i ordlistor och produktivt härledda ord, och ger uttal för dessa ord; metoden innehåller en klass-baserad modell i dess behandling av personliga namn. Vi utvärderar också systemets prestanda, med hänsyn till att människor ofta inte är överens om en enda segmentering. Det första steget i en textanalys uppgift är att symbolisera indata i ord. För många skrivsystem ger det rimliga resultat att använda blanktecken som avgränsare för ord. Men för kinesiska och andra system där blanktecken inte används för att avgränsa ord kommer sådana triviala system inte att fungera. Kinesiskt skrivande är morfosyllabiskt (DeFrancis, 1984), vilket innebär att varje hanzi-'kinesiskt tecken' - (nästan alltid) representerar en enda stavelse som (vanligen) också är en enda morfem. Eftersom ord på kinesiska, som på engelska, kan vara polysyllabiska, och eftersom hanzi skrivs utan mellanslag, är det inte trivialt att rekonstruera som hanzi att gruppera till ord. Även om det för vissa applikationer kan vara möjligt att kringgå ordsegmenteringsproblemet och arbeta direkt från hanzi, det finns flera skäl till varför detta tillvägagångssätt inte kommer att fungera i ett text-till-tal (TI'S) system för Mandarin Kinesiska -- den primära avsedda tillämpningen av vår segmenter. Dessa skäl inkluderar: 1. Många hanzi är homografer vars uttal beror på ordtillhörighet. Så, ~ uttalas deO ~ när det är en prenominell modifiering markör, men di4 i ordet [] ~ mu4di4'mål'; ~ är normalt ganl 'torr', men qian2 i en persons förnamn. Vi presenterar en stokastisk finit-state modell för segmentering av kinesisk text i ordlistor och ord som härleds via ovan nämnda produktiva processer; som en del av behandlingen av personliga namn, diskuterar vi en klassbaserad modell som använder Good-Turing metoden för att uppskatta kostnader för tidigare osynliga personliga namn. segmentören hanterar grupperingen av hanzi i ord och utgångar ord uttal, med standarduttal för hanzi det kan inte gruppera; vi fokuserar här främst på systemets förmåga att segmentera text på lämpligt sätt (i stället för på dess uttal förmågor). Vi utvärderar olika specifika aspekter av segmenteringen, och ger en utvärdering av den övergripande segmentering prestanda: denna senare utvärdering jämför systemets prestanda med flera mänskliga domare, eftersom inte ens människor är överens om ett enda korrekt sätt att segmentera en text, Det finns en betydande litteratur om kinesiska ord segmentering: senaste recensioner inkluderar (Wang et al., 1990; Wu och Tseng, 1993). Ungefär, tidigare arbete kan klassificeras i rent statistiska metoder (Sproat och Shih, 1990), statistiska metoder som införlivar lexikala kunskaper (Fan och Tsai, 1988; Lin et al., 1993), och metoder som inkluderar lexikala kunskaper i kombination med heuristik.
För kinesiska använde REF ordet unigram-modell i sin ordsegmentör baserad på viktad finit-state-givare.
A Stochastic Finite-State Word-Segmentation Algorithm For Chinese
{'venue': 'Annual Meeting Of The Association For Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}