I detta dokument presenteras ett språkidentifieringssystem som är utformat för att upptäcka varje ords språk, i sitt sammanhang, i ett flerspråkigt dokument som skapas i sociala medier av tvåspråkiga/flerspråkiga samhällen, i vårt fall talare av algeriska arabiska. Vi ramar in uppgiften som en sekvens taggning problem och använder övervakad maskininlärning med standardmetoder som HMM och Ngram klassificering taggning. Vi experimenterar också med en lexikonbaserad metod. Att kombinera alla metoder i en reservmekanism och införa vissa språkliga regler, för att hantera osynliga symboler och tvetydiga ord, ger en övergripande noggrannhet på 93,14 %. Slutligen införde vi regler för språkidentifiering från sekvenser av erkända ord.
En lexikonbaserad metod användes i REF för att identifiera språket för varje ord i algerisk arabisk text skriven i sociala medier.
Identification of Languages in Algerian Arabic Multilingual Documents
{'venue': 'WANLP@EACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}