Vi beskriver IUCL+-systemet för den gemensamma uppgiften för den första workshopen om beräkningsmetoder för kodbyte (Solorio et al., 2014) där deltagarna utmanades att märka varje ord i Twitter-texter som en namngiven enhet eller ett av två kandidatspråk. Vårt system kombinerar sannolikheter för tecken n-gram, lexikala sannolikheter, sannolikheter för word label-övergång och befintliga namngivna enhetsigenkänningsverktyg inom ett Markov-modellramverk som väger dessa komponenter och tilldelar en etikett. Vår strategi är språkoberoende, och vi lämnade in resultat för alla datamängder (fem testuppsättningar och tre "överrasknings" uppsättningar, som omfattar fyra språkpar), tjäna den högsta noggrannheten på tweet-nivån på två språkpar (Mandarin-Engelska, Arabiskadialekter 1 & 2) och en av överraskningsuppsättningarna (arabiska-dialekter).
Den metod som presenteras av REF använder tecken n-gram sannolikheter, lexiska sannolikheter, word label övergångs sannolikheter och befintliga namngivna enhetsigenkänningsverktyg inom en Markov modellram.
The IUCL+ System: Word-Level Language Identification via Extended Markov Models
{'venue': 'CodeSwitch@EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}