Denna artikel presenterar vårt senaste arbete för deltagande i den andra internationella kinesiska Word Segmentation Bakeoff. Vårt system utför två procedurer: Out-ofvokabulary extraktion och ord segmentering. Vi komponerar tre ut-of-vokabulära extraktionsmoduler: Karaktärsbaserad taggning med olika klassificeringar -maximal entropi, stöd vektormaskiner, och villkorliga slumpmässiga fält. Vi komponerar också tre ord segmenteringsmoduler teckenbaserad taggning med maximal entropy clasfier, maximal entropy markov modell, och villkorliga slumpmässiga fält. Alla moduler baseras på tidigare föreslagna metoder. Vi lämnade in tre system som är olika kombination av modulerna. Vi komponerar tre system: Modellerna a, b och c för de stängda testspåren på alla fyra datamängderna. För modellerna a och c är tre ordextraktionsmoduler (OOV) sammansatta: 1. Maximal entropi (MaxEnt) klassificeringsbaserad taggning; 2. Maximal Entropy Markov modell (MEMM)-baserade ord segmenter med villkorliga slumpmässiga fält (CRF)-baserad buckling; 3. MEMM-baserad ordsegmenterare med Support Vector Machines (SVM)-baserad kapning. Två listor med OOV ord kandidater konstrueras antingen genom att rösta eller slå samman de tre OOV ord extraktion moduler. Slutligen producerar en CRFs-baserad ordsegmentör de slutliga resultaten med hjälp av antingen den röstberättigade listan (förlaga a) eller den sammanslagna listan (förlaga c). De flesta av klassificeringarna använder omgivande ord och tecken som kontextuella funktioner. Eftersom ord och karaktär funktioner kan orsaka data glest problem, använder vi en hård kluster algoritm (K-medel) för att definiera ordklasser och teckenklasser för att övervinna data glest problem. Ordklasserna används som dolda tillstånd i MEMM- och CRF-baserade ordsegmentörer. Karaktärsklasserna används som funktioner i teckenbaserad taggning, teckenbaserad kapning och ordsegmentering. Modell b är vår tidigare metod som föreslås i (Goh et al., 2004b) : Först används en MaxEnt klassificering för att utföra teckenbaserad märkning för att identifiera OOV-ord i testdata. In-vokabulary (IV) ordlista tillsammans med extraherade OOV ord kandidater används i Maximum Matching algoritm. Överlappande tvetydighet betecknas av de olika utgångarna från Forward och Backward Maximum Matching algoritm. Slutligen, teckenbaserad taggning av MaxEnt klassificerare löser tvetydigheten. I avsnitt 2 beskrivs modellerna a och c. I avsnitt 3 beskrivs modell b. I avsnitt 4 diskuteras skillnaderna mellan de tre modellerna. Modellerna a och c använder flera moduler. För det första används en hårdklusteralgoritm för att definiera ordklasser och teckenklasser. För det andra tränas tre OOV-extraheringsmoduler med träningsdata. Dessa moduler extraherar sedan OOV-orden i testdatan. För det tredje förfinas de OOV-ordkandidater som produceras av de tre OOV-extraheringsmodulerna genom röstning (förlaga a) eller sammanslagning (förlaga c). Den sista ordlistan består av att lägga till OOV-ordets kandidater till IV-ordlistan. Slutligen analyserar en CRF-baserad ordsegmentör meningen baserat på den nya ordlistan. Vi utför hårdklustring för alla ord och tecken i träningsdata. Kmeas algoritm används. Vi använder R 2.2.1 (http://www.r-project.org/) för att utföra k-means klustring. Detta anslag är avsett att täcka utgifter för tjänstemän och tillfälligt anställda som arbetar inom politikområdet Hälsa och konsumentskydd.
Detta problem har observerats av vissa deltagare i den Bakeoff 2005 REF, där de tillämpat IOB-märkning för att känna igen OOVs, och lagt till OOVs till den lexikon som används i HMM-baserade eller CRF-baserade metoder.
Combination of Machine Learning Methods for Optimum Chinese Word Segmentation
{'venue': 'Proceedings of the Fourth SIGHAN Workshop on Chinese Language Processing', 'journal': None, 'mag_field_of_study': ['Computer Science']}