Vi beskriver IUCL+-systemet för den gemensamma uppgiften för den första workshopen om beräkningsmetoder för kodbyte (Solorio et al., 2014) där deltagarna utmanades att märka varje ord i Twitter-texter som en namngiven enhet eller ett av två kandidatspråk. Vårt system kombinerar sannolikheter för tecken n-gram, lexikala sannolikheter, sannolikheter för word label-övergång och befintliga namngivna enhetsigenkänningsverktyg inom ett Markov-modellramverk som väger dessa komponenter och tilldelar en etikett. Vår strategi är språkoberoende, och vi lämnade in resultat för alla datamängder (fem testuppsättningar och tre "överrasknings" uppsättningar, som omfattar fyra språkpar), tjäna den högsta noggrannheten på tweet-nivån på två språkpar (Mandarin-Engelska, Arabiskadialekter 1 & 2) och en av överraskningsuppsättningarna (arabiska-dialekter).
För identifiering av symboliska nivådialekter använder REF en språkoberoende metod som använder sannolikheter för tecken n-gram, lexikala sannolikheter, sannolikheter för ordetikettsövergång och befintliga namngivna verktyg för enhetsigenkänning inom ramen för en modell av Markov.
The IUCL+ System: Word-Level Language Identification via Extended Markov Models
{'venue': 'CodeSwitch@EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}