Detta dokument undersöker förbättrad övervakad ordsegmenteringsnoggrannhet med omärkta data. Både storskaliga in-domändata och småskalig dokumenttext beaktas. Vi presenterar en enhetlig lösning för att inkludera funktioner som härrör från omärkta data till en discriminativ inlärningsmodell. För den storskaliga data, vi härleder strängstatistik från Gigaword för att hjälpa en karaktär-baserade segmenter. Dessutom introducerar vi idén om transduktiv, dokument-nivå segmentering, som är utformad för att förbättra systemet återkalla för out-ofvokabulary (OOV) ord som visas mer än en gång i ett dokument. Nya funktioner 1 resulterar i relativa felminskningar på 13,8 % respektive 15,4 % när det gäller F-poäng respektive återkallande av OOV-ord.
REF undersökte flera statistiska egenskaper som härletts från båda omärkta data för att hjälpa till att förbättra teckenbaserad ordsegmentering.
Enhancing Chinese Word Segmentation Using Unlabeled Data
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}