Mikrobloggar har nyligen fått ett brett intresse från NLP-forskare. Nuvarande verktyg för japansk ordsegmentering och POS-märkning fungerar dock fortfarande dåligt på mikrobloggtexter. Vi utvecklade en kommenterad corpus och föreslog en gemensam modell för att övervinna denna situation. Vår kommenterade corpus av microblog texter möjliggör inte bara utbildning av exakta statistiska modeller utan också kvantitativ utvärdering av deras prestanda. Vår gemensamma modell med lexikal normalisering hanterar den ortografiska mångfalden av mikrobloggtexter. Vi genomförde ett experiment för att visa att corpus och modell väsentligt bidrar till att öka noggrannheten.
REF använde en bigram språk modell funktion för japanska ord segmentering och POS taggning.
Accurate Word Segmentation and POS Tagging for Japanese Microblogs: Corpus Annotation and Joint Modeling with Lexical Normalization
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}