I detta dokument ser vi över problemet med språkidentifiering med fokus på lämplig diskriminering mellan närbesläktade språk. Starka likheter mellan vissa språk gör det mycket svårt att klassificera dem korrekt med hjälp av de standardmetoder som har föreslagits i litteraturen. Dedikerade modeller som fokuserar på specifika diskrimineringsuppgifter bidrar till att förbättra noggrannheten hos verktyg för språkidentifiering för allmänna ändamål. Vi föreslår och jämför metoder baserade på enkla dokumentklassificeringsmetoder utbildade på parallellkorpora av nära relaterade språk och metoder som betonar diskriminerande egenskaper i termer av svartlistade ord. Våra experiment visar att dessa tekniker är mycket korrekta för den svåra uppgiften att skilja mellan bosniska, kroatiska och serbiska. Den bästa installationen ger en absolut förbättring på över 9 % i noggrannhet jämfört med det bästa utgångsvärdet med hjälp av ett toppmodernt språkidentifieringsverktyg.
Ett liknande tillvägagångssätt användes senare av REF för att särskilja bosniska, kroatiska och serbiska.
Efficient Discrimination Between Closely Related Languages
{'venue': 'COLING', 'journal': None, 'mag_field_of_study': ['Computer Science']}