Språklig identifiering är en nödvändig förutsättning för att behandla eventuell användargenererad text, där språket är okänt. Det blir ännu mer utmanande när texten är kodblandad, d.v.s. två eller flera språk används inom samma text. Sådana data ses ofta i sociala medier, där ytterligare utmaningar kan uppstå på grund av sammandragningar och translittereringar. De befintliga språkidentifieringssystemen är inte utformade för att hantera kodblandad text, och som våra experiment visar, presterar dåligt på en syntetiskt skapad kodmixad datauppsättning för 28 språk.Vi föreslår tillägg till en befintlig metod för språkidentifiering på ordnivå. Vår teknik överträffar inte bara de befintliga metoderna, utan gör inte heller något antagande om de språkpar som blandas i texten - ett vanligt krav på de befintliga systemen för språkidentifiering på ordnivå.Denna studie visar att språkidentifiering på ordnivå sannolikt blandar ihop språk som är språkligt besläktade (t.ex. hindi och Gujarati, tjeckiska och slovakiska), för vilka särskilda disambiguationsmetoder kan krävas.
Betydelsen av ett robust språkidentifieringssystem på tokennivå undersöktes i REF.
"ye word kis lang ka hai bhai?" Testing the Limits of Word level Language Identification
{'venue': 'ICON', 'journal': None, 'mag_field_of_study': ['Computer Science']}