Sociala medietjänster som t.ex. Twitter erbjuder en enorm mängd lingvistiska data i verkligheten. Vi undersöker användningen av Twitter för att få autentisk användargenererad text på lågresursspråk som Nepali, Urdu och Ukrainska. Automatisk språkidentifiering (LID) kan användas för att extrahera språkspecifika data från Twitter, men det är oklart hur väl LID presterar på korta, informella texter på lågresursspråk. Vi tar upp denna fråga genom att kommentera och släppa en stor samling tweets på nio språk, med fokus på konfuserbara språk med hjälp av kyrilliska, arabiska och Devanagari manus. Detta är den första allmänt tillgängliga samlingen av LID-annoterade tweets i icke-latinska skript, och bör bli en standardutvärderingsuppsättning för LID-system. Vi avancerar också den senaste tekniken genom att utvärdera nya, mycket exakta LID-system, tränade både på våra nya corpus och enbart på standardmaterial. Båda typerna av system uppnår en enorm prestandaförbättring jämfört med den befintliga state-of-the-art, korrekt klassificera cirka 98% av våra guld standard tweets. Vi tillhandahåller en detaljerad analys som visar hur noggrannheten i våra system varierar längs vissa dimensioner, såsom tweet-längden och mängden in- och out-of-domain träningsdata.
Bergsma m.fl. REF utvecklade också en samling tweets på nio språk med fokus på konfuserbara språk med hjälp av de kyrilliska, arabiska och devanagari alfabetena.
Language Identification for Creating Language-Specific Twitter Collections
{'venue': 'Proceedings of the Second Workshop on Language in Social Media', 'journal': None, 'mag_field_of_study': ['Computer Science']}