Ordsegmentering i MSR-NLP är en integrerad del av en meningsanalysator som inkluderar grundläggande segmentering, derivationell morfologi, namngiven enhet igenkänning, ny ordidentifiering, word lattice beskärning och tolkning. Den slutliga segmenteringen framställs av bladen från parseträd. Utgången kan anpassas för att uppfylla olika segmenteringsstandarder genom värdekombinationer av en uppsättning parametrar. Systemet deltog i fyra spår av segmenteringen bakeoff --PK-open, PK-close, CTB-open och CTBclosed --och rankad #1, #2, #2 respektive #3 i dessa spår. Analys av resultaten visar att varje del av systemet bidrog till poängen. Det kinesiska MSR-NLP-systemet som deltog i den nuvarande segmenteringen är inte en fristående ordsegmentör. Det är en kinesisk mening analysator där bladen av parse träd visas som utgången av ord segmentering. Komponenterna i detta system beskrivs nedan. Varje inmatningsmening delas först in i enskilda tecken. 1 Dessa tecken och deras kombinationer slås sedan upp i en ordbok 2 och ett ord lattice som innehåller lexikaliserade ord endast bildas. Varje nod i lattice är en funktion 1 Om en inmatningsrad innehåller mer än en mening, tillämpas en meningsavskiljare för att bryta linjen i enskilda meningar, som sedan behandlas en efter en och resultaten konkateneras för att bilda en enda utgång. 2 Uppslagningen är optimerad så att inte alla möjliga kombinationer provas. matris som innehåller den del av talet och andra grammatiska attribut. Flera tecken ord kan också ha information för att lösa segmentering tvetydigheter. I allmänhet, flera tecken ord tilldelas högre poäng än de ord de subsume, men ord som " på" är undantag och sådana exceptionella fall är vanligtvis markerade i ordboken. För några av de ord som tenderar att överlappa med andra ord finns det också information om vad den föredragna segmenteringen är. Till exempel är den föredragna segmenteringen för "......" är "........." snarare än "............................................................................................... Sådan information samlades in från segmenterad korpora och lagrades i ordboken. Poängen används senare i word lattice beskärning och parse ranking (Wu och Jiang 1998). Efter grundläggande segmentering, en uppsättning förstärkta fras struktur regler tillämpas på ordet lattice för att bilda större ord enheter som inkluderar: • Ord som härrör från morfologiska processer såsom reduplikation, anbringande, sammansättning, sammanslagning, delning, etc. • Namngivna enheter såsom personnamn, ortnamn, företagsnamn, produktnamn, nummer, datum, monetära enheter etc. Var och en av dessa enheter är ett träd som återspeglar historien om regeltillämpning. De läggs till det befintliga ordet lattice som enstaka noder och behandlas som enstaka ord av parsern. De interna strukturerna är användbara för olika ändamål, varav en är anpassning av ordsegmentering: ord med sådana strukturer kan alla visas som enstaka ord eller flera ord beroende på var "snitt" görs i ordet träd (Wu 2003).
REF använde också utbildningsuppgifterna för att justera segmenteringsparametrarna i sitt kinesiska MSR-NLP-system.
Chinese Word Segmentation In MSR-NLP
{'venue': 'SIGHAN Workshop On Chinese Language Processing', 'journal': None, 'mag_field_of_study': ['Computer Science']}