Vi betraktar här problemet med kinesisk namngiven enhet (NE) identifiering med hjälp av statistisk språkmodell (LM). I denna forskning har ordsegmentering och NE-identifiering integrerats i ett enhetligt ramverk som består av flera klassbaserade språkmodeller. Vi antar också en hierarkisk struktur för en av LMs så att de bofasta enheterna i organisationsnamn kan identifieras. Utvärderingen av en stor testuppsättning visar på konsekventa förbättringar. Våra experiment visar vidare förbättringen efter att sömlöst integrera med språkheuristisk information, cachebaserad modell och NE förkortning identifiering. ,QWURGXFWLRQ LGHQWLILFDWLRQ är nyckeltekniken i många applikationer såsom informationsutdrag, frågesvar, maskinöversättning och så vidare. Engelska NE-identifieringen har uppnått en stor framgång. För kinesiska är dock NE-identifieringen mycket annorlunda. Det finns inget utrymme att markera ordgränsen och ingen standarddefinition av ord på kinesiska. Den kinesiska NE identifiering och ord segmentering är interaktion i naturen. Detta dokument presenterar en enhetlig strategi som integrerar dessa två steg tillsammans med hjälp av en klassbaserad LM, och tillämpa Viterbi sökning för att välja den globala optimala lösningen. Den klassbaserade LM består av två undermodeller, nämligen kontextmodellen och enhetsmodellen. Sammanhangsmodellen uppskattar sannolikheten för att generera en NE med tanke på ett visst sammanhang, och enhetsmodellen uppskattar sannolikheten för en sekvens av kinesiska tecken med en viss typ av NE. I denna studie är vi intresserade av tre typer av kinesiska NE som oftast används, nämligen personnamn (PER), platsnamn (LOC) och organisationsnamn (ORG). Vi har också antagit en rad olika strategier för att förbättra LM. Dessutom används en hierarkisk struktur för organisation LM så att den inhägnade PER, LOC i ORG kan identifieras. Utvärderingen görs på en stor testuppsättning där de nationella konkurrensmyndigheterna har märkts manuellt. Experimentresultatet visar på konsekventa förbättringar jämfört med befintliga metoder. Våra experiment visar vidare på förbättringen efter integrering med språkheuristisk information, cachebaserad modell och NE-förkortningsidentifiering. Precisionen för PER, LOC, ORG på testsetet är 79,86 %, 80,88 % respektive 76,63 %, och återkallandet är 87,29 %, 82,46 % respektive 56,54 %.
Till exempel, Sun et al REF integrerad ordsegmentering och namngiven enhet identifiering i en enhetlig ram och utvecklat den klassbaserade LM med sina egna funktioner.
Chinese Named Entity Identification Using Class-Based Language Model
{'venue': 'International Conference On Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}