Den informella karaktären av sociala medier text gör det mycket svårt att automatiskt behandlas av naturliga språk bearbetningsverktyg. Text normalisering, som motsvarar att återställa de icke-standard ord till sina kanoniska former, ger en lösning på denna utmaning. Vi introducerar en oövervakad textnormaliseringsmetod som inte bara använder lexikal, utan också kontextuella och grammatiska drag i social text. De kontextuella och grammatiska funktionerna utvinns ur ett ord föreningsdiagram byggt med hjälp av en stor omärkt social media text corpus. Grafen kodar ordens relativa positioner med avseende på varandra, liksom deras del-av-tal-taggar. De lexiska funktionerna erhålls genom att använda den längsta gemensamma subsekvens förhållandet och redigera avstånd åtgärder för att koda ytan likhet mellan ord, och dubbel metafon algoritm för att representera den fonetiska likheten. Till skillnad från de flesta av de senaste tillvägagångssätten som bygger på att generera normalisering ordböcker, den föreslagna metoden utför normalisering genom att beakta sammanhanget för de icke-standard ord i inmatningstexten. Våra resultat visar att den uppnår toppmoderna F-resultatresultat på standarddatauppsättningar. Dessutom kan systemet ställas in för att uppnå mycket hög precision utan att offra mycket från minns.
REF presenterar ett ord association diagram som kodar positionen för varje ord med avseende på andra ord.
A Graph-based Approach for Contextual Text Normalization
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}