Tweets innehåller ofta en stor andel förkortningar, alternativa stavningar, nya ord och annat icke-kanoniskt språk. Dessa funktioner är problematiska för standard språkanalysverktyg och det kan vara önskvärt att konvertera dem till kanonisk form. Vi föreslår en ny text normalisering modell baserad på lärande redigera åtgärder från märkta data samtidigt införliva funktioner som induceras från omärkta data via tecken-nivå neural text inbäddningar. Texten inbäddningar genereras med hjälp av ett enkelt återkommande nätverk. Vi finner att berika funktionen uppsättning med text inbäddningar avsevärt sänker ordfelsfrekvenser på en engelsk tweet normalisering dataset. Vår modell förbättras på toppmodern nivå med lite träningsdata och utan några lexikala resurser.
REF å andra sidan uppnådde felfrekvenser med lägre ord utan att använda några lexiska resurser.
Normalizing tweets with edit scripts and recurrent neural embeddings
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}