Tweets innehåller ofta en stor andel förkortningar, alternativa stavningar, nya ord och annat icke-kanoniskt språk. Dessa funktioner är problematiska för standard språkanalysverktyg och det kan vara önskvärt att konvertera dem till kanonisk form. Vi föreslår en ny text normalisering modell baserad på lärande redigera åtgärder från märkta data samtidigt införliva funktioner som induceras från omärkta data via tecken-nivå neural text inbäddningar. Texten inbäddningar genereras med hjälp av ett enkelt återkommande nätverk. Vi finner att berika funktionen uppsättning med text inbäddningar avsevärt sänker ordfelsfrekvenser på en engelsk tweet normalisering dataset. Vår modell förbättras på toppmodern nivå med lite träningsdata och utan några lexikala resurser.
REF föreslog en textnormaliseringsmodell baserad på inlärningsredigering från märkta data samtidigt som funktioner inducerade från omärkta data via återkommande nätverk härledda tecken-nivå neural text inbäddningar.
Normalizing tweets with edit scripts and recurrent neural embeddings
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}