I detta dokument föreslår vi en ny pipeline av ord inbäddning för osegmenterade språk, som kallas segmenteringsfria ord inbäddning, som inte kräver ord segmentering som en förbehandling steg. Till skillnad från rymddefinierade språk kräver osegmenterade språk, såsom kinesiska och japanska, ordsegmentering som ett förbearbetningssteg. Men ordsegmentering, som ofta kräver manuellt kommenterade resurser, är svår och dyr, och oundvikliga fel i ordsegmentering påverkar nedströmsuppgifter. För att undvika dessa problem med att lära sig ordvektorer av osegmenterade språk, anser vi att ordet co-occurence statistik över alla möjliga kandidater för segmenteringar baserat på frekventa tecken n-grams i stället för segmenterade meningar som tillhandahålls av konventionella ordsegmentörer. Våra experiment av substantiv kategori förutsägelse uppgifter på rå Twitter, Weibo, och Wikipedia corpora visar att den föreslagna metoden överträffar de konventionella tillvägagångssätt som kräver word segmenters.
För att få ordvektorer utan ordsegmentering föreslog REF en ny pipeline av ordinslag som är effektiv för osegmenterade språk.
Segmentation-Free Word Embedding for Unsegmented Languages
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}