I den här artikeln presenterar vi kinesiska ordsegmenteringsalgoritmer baserade på den så kallade LMR-märkning. Våra LMR-taggers implementeras med Maximum Entropy Markov Model och vi använder sedan Transformation-Based Learning för att kombinera resultaten av de två LMR-taggers som skannar indata i motsatta riktningar. Vårt system uppnår F-poäng av ¢ ¡ ¤ £ ¥ §  till och © £ ¥ §  på Academia Sinica corpus respektive Hong Kong City University corpus. Till skillnad från engelsk text där meningar är sekvenser av ord avgränsade av vita mellanslag, representeras meningar i kinesisk text som strängar av kinesiska tecken eller hanzi utan liknande naturliga avgränsningar. Därför är det första steget i ett kinesiskt språk bearbetning uppgift att identifiera sekvensen av ord i en mening och markera gränser på lämpliga platser. Detta kan låta enkelt nog men i verkligheten identifiera ord på kinesiska är ett icke-trivialt problem som har dragit en stor mängd forskning i den kinesiska språkbearbetning gemenskapen (Fan och Tsai, 1988; Gan et al., 1996; Sproat et al., 1996; Wu, 2003; Xue, 2003). Nyckeln till exakt automatisk ordidentifiering på kinesiska ligger i en framgångsrik lösning av tvetydigheter och ett korrekt sätt att hantera ord utanför ordförrådet. De tvetydigheter i kinesiska ord segmentering beror på det faktum att en hanzi kan förekomma i olika ord interna positioner (Xue, 2003). Med tanke på det rätta sammanhanget, som i allmänhet föreskrivs i den mening i vilken det förekommer, kan en hanzis ställning fastställas. I detta papper modellerar vi det kinesiska ordet segmentering som en hanzi taggning problem och använder en maskininlärning algoritm för att bestämma lämplig position för en hanzi. Det finns flera skäl till att vi kan förvänta oss att denna strategi ska fungera. För det första har kinesiska ord i allmänhet färre än fyra tecken. Till följd av detta är antalet positioner litet. För det andra, även om varje hanzi i princip kan förekomma i alla möjliga positioner, inte alla hanzi beter sig på detta sätt. Ett betydande antal hanzi distribueras på ett begränsat sätt. Till exempel, Den plural markör, nästan alltid förekommer i ordet-slutlig position. Slutligen, även om kinesiska ord inte kan listas uttömmande och nya ord kommer att förekomma i naturligt förekommande text, är detsamma inte sant för hanzi. Antalet hanzi förblir ganska konstant och vi förväntar oss i allmänhet inte att se nya hanzi. Vi representerar positioner av en hanzi med fyra olika taggar (tabell 1): LM för en hanzi som förekommer på vänster periferi av ett ord, följt av andra hanzi, MM för en hanzi som förekommer i mitten av ett ord, MR för en hanzi som förekommer på den högra periferin av ord, föregås av andra hanzi, och LR för hanzi som är ett ord av sig själv. Vi kallar det här för LMR-märkning. Med detta tillvägagångssätt, ord segmentering är en process där varje hanzi tilldelas en LMR-tagge och sekvenser av hanzi omvandlas sedan till sekvenser av ord baserat på LMR-taggar. Användningen av fyra taggar är språkligt intuitivt i att LM-taggar morfemer som är prefix eller stjälkar i avsaknad av prefix, MR-taggar morfemer som är suffix eller stjälkar i frånvaro av suffix, MM-taggar stjälkar med fästen och LR-taggar stjälkar utan fästen. Att representera distributionerna av hanzi med LMR-taggar gör det också enkelt att använda maskininlärningsalgoritmer som framgångsrikt har tillämpats på andra taggningsproblem, såsom POS-taggning och IOB-märkning som används vid textinskärning.
Det genomfördes först i kinesisk ordsegmentering genom REF med hjälp av de maximala entropimetoderna.
Chinese Word Segmentation As LMR Tagging
{'venue': 'SIGHAN Workshop On Chinese Language Processing', 'journal': None, 'mag_field_of_study': ['Computer Science']}