Inom kommunikation i sociala medier växlar ofta flerspråkiga talare mellan språk, och i en sådan miljö blir automatisk språkidentifiering både en nödvändig och utmanande uppgift. I detta dokument beskriver vi vårt pågående arbete med problemet med automatisk språkidentifiering för språket i sociala medier. Vi beskriver en ny datauppsättning som vi håller på att skapa, som innehåller Facebook-inlägg och kommentarer som visar kodblandning mellan bengali, engelska och hindi. Vi presenterar också några preliminära ord-nivå språk identifiering experiment med hjälp av denna datauppsättning. Olika tekniker används, inklusive en enkel oövervakad ordboksbaserad metod, övervakad ordnivåklassificering med och utan kontextuella ledtrådar, och sekvensmärkning med villkorliga slumpmässiga fält. Vi anser att det ordboksbaserade tillvägagångssättet överträffas av övervakad klassificering och sekvensmärkning, och att det är viktigt att ta hänsyn till kontextuella ledtrådar.
REF tog upp problemet med språkidentifiering på Bengali-Hindi-Engelska Facebook-kommentarer.
Code Mixing: A Challenge for Language Identification in the Language of Social Media
{'venue': 'CodeSwitch@EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}