Del-av-tal taggning, liksom alla övervakade statistiska NLP-uppgift, är svårare när testuppsättningar skiljer sig mycket från träningsset, till exempel när taggning över genrer eller språkvarianter. Vi undersökte problemet med POS-märkning av olika sorter av mandarinkinesiska (PRC-fastlandet, KinaHong Kong och Taiwan). En analytisk studie visade först att okända ord var en viktig källa till svårigheter med korsvis märkning. Okända ord på engelska tenderar att vara riktiga substantiv. Däremot fann vi att mandariners okända ord till största delen var vanliga substantiv och verb. Vi visade dessa resultat orsakas av den höga frekvensen av morfologisk sammansättning i mandarin; i denna mening Mandarin är mer som tyska än engelska. Baserat på denna analys, föreslår vi en mängd nya morfologiska okända-ord funktioner för POS taggning, förlänga tidigare arbete av andra om okända-ord taggning på engelska och tyska. Våra funktioner implementerades i en maximal entropi Markov modell. Vårt system uppnår state-of-the-art prestanda i Mandarin taggning, inklusive förbättra okända ord märkning prestanda på osynliga sorter i kinesiska Treebank 5.0 från 61% till 80% korrekt.
Liknar REF visade vi att morfologiska egenskaper hjälper vid märkning av OOV-ord och märkning i allmänhet.
Morphological features help POS tagging of unknown words across language varieties
{'venue': 'Proceedings of the Fourth SIGHAN Workshop on Chinese Language Processing', 'journal': None, 'mag_field_of_study': ['Computer Science']}