Text normalisering tekniker som använder regelbaserad normalisering eller sträng likhet baserad på statiska ordböcker är vanligtvis oförmögna att fånga domänspecifika förkortningar (custy, cx → kund) och shorthands (5ever, 7ever → forever) används i informella texter. I detta arbete utnyttjar vi egendomen som bullriga och kanoniska former av ett visst ord delar liknande sammanhang i en stor bullriga textsamling (miljoner eller miljarder av sociala medier matar från Twitter, Facebook, etc.). Vi lär oss distribuerade framställningar av ord för att fånga begreppet kontextuell likhet och lär oss därefter normaliseringslexikon från dessa framställningar på ett helt oövervakat sätt. Vi experimenterar med linjära och icke-linjära distribuerade representationer erhållna från log-linjära modeller respektive neurala nätverk. Vi tillämpar vårt ramverk för att normalisera kundanteckningar och Twitter. Vi utökar också vårt tillvägagångssätt för att lära sig fras normalisering lexikon (g2g → fick gå) genom utbildning fördelade representationer över sammansatta ord. Vår strategi överträffar Microsoft Word, Aspell och en manuellt kompilerad urban ordbok från webben och uppnår state-of-the-art resultat på en allmänt tillgänglig Twitter dataset.
REF föreslog en metod för att lära sig fras normalisering lexikon genom utbildning fördelade representationer över sammansatta ord.
Unsupervised Text Normalization Using Distributed Representations of Words and Phrases
{'venue': 'VS@HLT-NAACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}