Språkidentifiering är uppgiften att identifiera det språk som en viss handling är skriven på. I detta dokument beskrivs en detaljerad undersökning av vilka modeller som fungerar bäst under olika förhållanden, baserat på experiment i tre separata datauppsättningar och en rad tokeniseringsstrategier. Vi visar att uppgiften blir allt svårare när vi ökar antalet språk, minskar mängden utbildningsdata och minskar dokumentens längd. Vi visar också att det är möjligt att utföra språkidentifiering utan att behöva utföra explicit teckenkodning upptäckt.
I REF analyserades inverkan av antalet diskriminerade språk, mängden utbildningsdata och dokumentens längd på riktigheten i detektionen av dokumentspråk.
Language Identification: The Long and the Short of the Matter
{'venue': 'Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}