Dialectal Arabic (DA) är den talade vernacular för över 300M människor över hela världen. DA växer fram som formen av arabiska skriven i online kommunikation: chattar, e-post, bloggar, etc. Men de flesta befintliga NLP-verktyg för arabiska är utformade för att bearbeta Modern Standard Arabiska, en variation som är mer formell och skript. Bortsett från genren variation som är ett hinder för alla språkbehandling, även på engelska, DA har ingen ortografisk standard, jämfört med MSA som har en standard Ortografi och skript. Följaktligen kan ett ord skrivas i många möjliga inkonsekventa stavningar vilket gör behandlingen av DA mycket utmanande. För att lösa detta problem måste sådana inkonsekvenser normaliseras. Detta arbete är det första steget mot att ta itu med detta problem, eftersom vi försöker identifiera stavningsvarianter i ett visst textdokument. Vi presenterar ett oövervakat kluster förhållningssätt som tar itu med problemet med att identifiera ortografiska varianter i DA. Vi använder olika likhetsåtgärder som utnyttjar stränglikhet och kontextuell semantisk likhet. Såvitt vi vet är detta det första försöket att lösa problemet för åklagaren. Våra metoder testas på data i två dialekter av Arabiska -Egyptiska och Levantine. Vårt system uppnår den högsta Entropy av 0,19 för egyptiska (motsvarande 68% klusterprecision) och Levantine (motsvarande 64% klusterprecision) respektive. Detta utgör en signifikant minskning av entropi (från 0,47 för egyptiska och 0,51 för Levantine) och förbättring av klusterprecisionen (från 29 % för båda) från baslinjen.
REF använde strängbaserade likhetsmått och kontextuell stränglikhet för att identifiera ortografiska varianter på dialektiska arabiska.
CODACT: Towards Identifying Orthographic Variants in Dialectal Arabic
{'venue': 'IJCNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}