Denna artikel presenterar en pragmatisk inställning till kinesisk ordsegmentering. Den skiljer sig från de flesta tidigare tillvägagångssätt huvudsakligen i tre avseenden. För det första, medan teoretiska lingvister har definierat kinesiska ord med hjälp av olika språkliga kriterier, definieras kinesiska ord i denna studie pragmatiskt som segmenteringsenheter vars definition beror på hur de används och bearbetas i realistiska datorapplikationer. För det andra föreslår vi ett pragmatiskt matematiskt ramverk där segmentering av kända ord och upptäckt av okända ord av olika typer (dvs morfologiskt härledda ord, fagoider, namngivna entiteter och andra olistade ord) kan utföras samtidigt på ett enhetligt sätt. Dessa uppgifter utförs vanligen separat i andra system. Slutligen utgår vi inte från att det finns en universell ordsegmenteringsstandard som är tillämpningsoberoende. I stället argumenterar vi för nödvändigheten av flera segmenteringsstandarder på grund av det pragmatiska faktum att olika naturliga språk behandling tillämpningar kan kräva olika granulariteter av kinesiska ord. Dessa pragmatiska tillvägagångssätt har genomförts i en adaptiv kinesisk ordsegmenter, som kallas MSRSeg, som kommer att beskrivas i detalj. Den består av två komponenter: 1) en generisk segmenterare som bygger på ramen för linjära blandningsmodeller och ger en enhetlig strategi för de fem grundläggande egenskaperna hos ord-nivå kinesisk språkbehandling: lexikon ordbehandling, morfologisk analys, faktaoid detektion, namngivna enhetsigenkänning, och nya ordidentifiering, och 2) en uppsättning utdata adaptrar för att anpassa produktionen av (1) till olika tillämpningsspecifika standarder. Utvärdering av fem testuppsättningar med olika standarder visar att det adaptiva systemet uppnår toppmoderna prestanda på alla testuppsättningar.
REF föreslår ett pragmatiskt matematiskt ramverk där segmentering av kända ord och upptäckt av okända ord av olika typer kan utföras samtidigt på ett enhetligt sätt.
Chinese Word Segmentation and Named Entity Recognition: A Pragmatic Approach
{'venue': 'Computational Linguistics', 'journal': 'Computational Linguistics', 'mag_field_of_study': ['Computer Science']}