Abstract Language identifikation, eftersom uppgiften att bestämma språket en viss text är skriven i, har utvecklats avsevärt under de senaste årtiondena. Tre huvudfrågor är dock fortfarande olösta: i) åtskillnad mellan liknande språk, ii) upptäckt av flerspråkighet i ett enda dokument och iii) identifiering av språk för korta texter. I detta dokument beskriver vi vårt arbete med att utveckla ett riktmärke för att uppmuntra ytterligare forskning i dessa tre riktningar, fastställa en utvärderingsram som lämpar sig för uppgiften och göra en datauppsättning med kommenterade tweets allmänt tillgängliga för forskningsändamål. Vi beskriver också den gemensamma uppgift vi organiserade för att validera och utvärdera utvärderingsramen och dataset med system som lämnats in av sju olika deltagare, och analysera prestanda för dessa system. Utvärderingen av resultaten från deltagarna i den gemensamma uppgiften hjälpte oss att belysa bristerna i de senaste språkidentifieringssystemen och ger oss en inblick i i vilken utsträckning den korta, flerspråkiga och språkliga likhet som finns i texter förvärrar språkidentifierarnas prestanda. Vår datauppsättning med nästan 35 000 tweets och utvärderingsramen ger forskare och praktiker lämpliga resurser för att ytterligare studera de ovannämnda frågorna om språkidentifiering inom en gemensam miljö som gör det möjligt att jämföra resultat med varandra.
Vid utvärderingen av det genomförda systemet använde de sig av TweetLID:s officiella corpus, som innehåller flerspråkiga tweets 2 REF.
TweetLID : a benchmark for tweet language identification
{'venue': None, 'journal': 'Language Resources and Evaluation', 'mag_field_of_study': ['Computer Science']}