Abstrakt. I detta dokument föreslås en bitning strategi för att upptäcka okända ord i kinesiska ord segmentering. Först, en rå mening försegmenteras i en sekvens av ord atomer 1 med hjälp av en maximal matchande algoritm. Sedan används en bitmodell för att upptäcka okända ord genom att skära ihop en eller flera ordatomer enligt ordformationsmönstren i ordet atomer. I detta dokument, en diskriminerande Markov modell, som heter Ömsesidig Information Independence Model (MIIM), antas i styckning. Dessutom tillämpas en maximal entropimodell för att integrera olika typer av sammanhang och lösa data gleshetsproblem i MIIM. Dessutom föreslås en felbaserad inlärningsmetod för att lära sig användbara sammanhang i den maximala entropimodellen. På så sätt kan antalet sammanhang i den maximala entropimodellen minskas avsevärt utan att prestandan minskar. Detta gör det möjligt att ytterligare förbättra prestandan genom att överväga fler olika typer av sammanhang. Utvärdering av PK och CTB corpora i den första SIGHAN kinesiska ord segmentering bakeoff visar att vår bitning metod framgångsrikt upptäcker ca 80% av okända ord på både corpora och överträffar de bäst rapporterade systemen med 8,1% och 7,1% i okänd orddetektering på dem respektive.
REF föreslog en discriminativ Markov-modell för att upptäcka nya ord genom att skära ett eller flera åtskilda ord.
A Chunking Strategy Towards Unknown Word Detection in Chinese Word Segmentation
{'venue': 'Second International Joint Conference on Natural Language Processing: Full Papers', 'journal': None, 'mag_field_of_study': ['Computer Science']}