Vi undersöker ett lattice LSTM-nätverk för kinesisk ordsegmentering (CWS) för att använda ord eller underord. Det integrerar karaktär sekvens funktioner med alla undersekvenser information matchas från en lexikon. De matchade undersekvenserna fungerar som information genvägstunnlar som länkar deras start- och sluttecken direkt. Gated enheter används för att kontrollera bidraget från flera inmatningslänkar. Genom formel härledning och jämförelse visar vi att lattice LSTM är en förlängning av standard LSTM med möjlighet att ta flera ingångar. Tidigare lattice LSTM-modell tar ordinslag som indata till lexikonet, vi bevisar att underordskodning kan ge jämförbar prestanda och har fördelen att inte förlita sig på någon extern segmentor. Bidraget från lattice LSTM kommer från både lexikon och förtränade inbäddningar information, vi finner att lexikoninformation bidrar mer än de förtränade inbäddningar information genom kontrollerade experiment. Våra experiment visar att latticestrukturen med underordskodning ger konkurrenskraftiga eller bättre resultat med tidigare toppmoderna metoder på fyra segmenteringsriktmärken. Detaljerade analyser görs för att jämföra prestandan hos ordkodning och underordskodning i lattice LSTM. Vi undersöker också prestandan hos lattice LSTM struktur under olika omständigheter och när denna modell fungerar eller misslyckas.
REF föreslog en lattice LSTM-baserad modell med undersekvensinformation (ord eller underord).
Subword Encoding in Lattice LSTM for Chinese Word Segmentation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Physics', 'Computer Science']}