I detta dokument presenteras ett kinesiskt ordsegmenteringssystem som kan anpassas till olika domäner och standarder. Vi presenterar först en statistisk ram där domänspecifika ord identifieras i ett enhetligt tillvägagångssätt för ordsegmentering baserat på linjära modeller. Vi utforskar flera funktioner och beskriver hur man skapar träningsdata genom provtagning. Vi beskriver sedan en transformationsbaserad inlärningsmetod som används för att anpassa vårt system till olika ordsegmenteringsstandarder. Utvärdering av det föreslagna systemet på fem testuppsättningar med olika standarder visar att systemet uppnår toppmoderna resultat på alla dessa. Kinesiska ord segmentering har varit en långvarig forskning ämne i kinesiska språket bearbetning. Den senaste utvecklingen inom detta område visar att förutom tvetydig upplösning och okänd orddetektering, är nyttan av en kinesisk ordsegmenter också avgörande beroende av dess förmåga att anpassa sig till olika områden av texter och olika segmenteringsstandarder. Behovet av anpassning inbegriper två forskningsfrågor som vi kommer att ta upp i detta dokument. Det första är att upptäcka nya ord. Olika domäner/tillämpningar kan ha olika ordförråd som innehåller nya ord/termer som inte finns i en allmän ordbok. I detta dokument hänvisar nya ord till andra OOV-ord än namngivna entiteter, faktaoider och morfologiskt härledda ord. Dessa ord är oftast domänspecifika termer (t.ex. "cellulära" och tidskänsliga politiska, sociala eller kulturella termer (t.ex. "Tre länkar", "SARS"). Den andra frågan gäller den anpassningsbara visningen av ordsegmentering. Olika kinesiska NLP-aktiverade applikationer kan ha olika krav som kräver olika Granularities av ordsegmentering. Till exempel, taligenkänningssystem föredrar "längre ord" för att uppnå högre noggrannhet medan informationssökningssystem föredrar "kortare ord" för att få högre återkallandefrekvenser, etc. (Wu, 2003).............................................................................................. Med tanke på en ordsegmenteringsspecifikation (eller standard) och/eller vissa applikationsdata som används som utbildningsdata, bör en segmentör med anpassningsbar display kunna tillhandahålla alternativa segmenteringsenheter enligt den specifikation som antingen är fördefinierad eller underförstådd i datan. I detta dokument presenterar vi först en statistisk ram för kinesisk ordsegmentering, där olika problem med ordsegmentering löses samtidigt i ett enhetligt tillvägagångssätt. Vår strategi är baserad på linjära modeller där komponentmodeller är inspirerade av käll-kanal modeller av kinesisk mening generation. Därefter beskriver vi i detalj hur det nya ordidentifieringsproblemet (NWI) hanteras inom denna ram. Vi utforskar flera funktioner och beskriver hur man skapar träningsdata genom provtagning. Vi utvärderar prestandan hos vårt segmenteringssystem med hjälp av en kommenterad testuppsättning, där nya ord simuleras genom provtagning. Vi beskriver sedan en transformationsbaserad inlärningsmetod (TBL, Brill, 1995) som används för att anpassa vårt system till olika segmenteringsstandarder. Vi jämför adaptivsystemet med andra toppmoderna system med hjälp av fyra testuppsättningar i SIGHAN:s första internationella kinesiska Word Segmentation Bakeoff, som var och en konstrueras enligt en annan segmenteringsstandard. Vårt systems prestanda är jämförbar med de bästa system som rapporterats på alla fyra testseten. Det visar möjligheten att ha en enda adaptiv kinesisk ord segmenter som är kapabel att stödja flera användarprogram.
REF beskrev en omvandlingsbaserad omvandlare för att överföra ett visst ordsegmenteringsresultat till en annan annoteringsriktlinje.
Adaptive Chinese Word Segmentation
{'venue': 'Annual Meeting Of The Association For Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}