I detta dokument presenterar vi en hybrid metod för att utföra token- och meningsnivåer Dialect Identification på arabiska. Speciellt försöker vi identifiera om varje token i en viss mening tillhör Modern Standard Arabic (MSA), Egyptian Dialectal Arabic (EDA) eller någon annan klass och om hela meningen är mestadels EDA eller MSA. Den symboliska nivå komponenten bygger på en villkorlig Random Field (CRF) klassificerare som använder beslut från flera underliggande komponenter såsom språkmodeller, en namngiven enhet igenkännare och en morfologisk analysator för att märka varje ord i meningen. Straffnivåkomponenten använder ett klassificeringssystem som bygger på två oberoende underliggande klassificeringar som modellerar olika aspekter av språket. Med hjälp av en featuresselection heuristic väljer vi den bästa uppsättningen funktioner för var och en av dessa två klassificeringar. Vi utbildar sedan en annan klassificerare som använder klassetiketterna och de konfidenspoäng som genereras av var och en av de två underliggande klassificeringarna för att besluta om den slutliga klassen för varje mening. Den symboliska nivå komponenten ger en ny state of the art F-score på 90,6% (jämfört med tidigare state of the art 86,8%) och den meningsnivå komponenten ger en noggrannhet på 90,8% (jämfört med 86,6% som erhållits genom den bästa state of the art system).
En senare version av systemet kallas AIDA2 REF och det är en mer komplex hybrid system som innehåller olika klassificeringar och komponenter såsom språkmodeller, en namngiven enhet igenkännare, och en morfologisk analysator.
AIDA2: A Hybrid Approach for Token and Sentence Level Dialect Identification in Arabic
{'venue': 'CoNLL', 'journal': None, 'mag_field_of_study': ['Computer Science']}