Vi introducerar en karaktärsbaserad bitning för okänd ordidentifiering i japansk text. En stor fördel med vår metod är en förmåga att upptäcka låg frekvens okända ord av obegränsad karaktär typ mönster. Metoden bygger på SVM-baserad kapning, genom användning av karaktär n-gram och omgivande sammanhang av n-bästa ordsegmenteringskandidater från statistisk morfologisk analys som funktioner. Den tillämpas på tidningar och patenttexter, med 95 procents precision och 55-70 procents återkallande för tidningar och mer än 85 procents precision för patenttexter.
REF byggde en teckenbaserad bitmodell med hjälp av SVM för japansk okänd orddetektering.
Japanese Unknown Word Identification By Character-Based Chunking
{'venue': 'International Conference On Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}