Flera senaste uppsatser om arabisk dialekt identifiering har antytt att använda ett ord unigram modell är tillräckligt och effektivt för uppgiften. Men det mesta tidigare arbete gjordes på en standard ganska homogen datauppsättning av dialektiska användarkommentarer. I detta dokument visar vi att utbildning på standarddatauppsättningen inte generaliseras, eftersom en unigrammodell kan ställas in på ämnen i kommentarerna och inte fångar de särskiljande egenskaperna hos dialekter. Vi visar att effektiv dialektidentifiering kräver att vi redogör för dialekternas särskiljande lexiska, morfologiska och fonologiska fenomen. Vi visar att redovisning för sådana kan förbättra dialekt detektion noggrannhet med nästan 10% absolut.
Den metod som används av REF för identifiering av den egyptiska dialekten baserades på lexisk, morfologisk och fonologisk information.
Verifiably Effective Arabic Dialect Identification
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}