Den skrivna formen av arabiska, modern standard arabiska (MSA), skiljer sig ganska mycket från de talade dialekterna i arabiska, som är de sanna "nativ" språk arabiska talare som används i det dagliga livet. På grund av MSA:s prevalens i skriftlig form har dock nästan alla arabiska datauppsättningar övervägande MSA-innehåll. Vi presenterar Arabiska Online Commentary Dataset, en 52M-ords enspråkig datauppsättning rik på dialektiskt innehåll, och vi beskriver vår långsiktiga notation ansträngning att identifiera dialektnivån (och dialekten själv) i varje mening i datasetet. Hittills har vi märkt 108K meningar, varav 41% har dialektiskt innehåll. Vi presenterar också experimentella resultat om uppgiften automatisk dialektidentifiering, med hjälp av insamlade etiketter för utbildning och utvärdering.
REF utvecklade en informell enspråkig Arabisk Online Kommentar (AOC) kommenterade dataset med högt dialektiskt innehåll.
The Arabic Online Commentary Dataset: an Annotated Dataset of Informal Arabic with High Dialectal Content
{'venue': 'Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies', 'journal': None, 'mag_field_of_study': ['Computer Science']}