Vi presenterar en enhetlig, oövervakad statistisk modell för textnormalisering. Förhållandet mellan standard och icke-standard tokens kännetecknas av en log-lineär modell, tillåter godtyckliga funktioner. Vikterna av dessa funktioner tränas i ett maxlikelihood-ramverk, med hjälp av en ny sekventiell Monte Carlo träningsalgoritm för att övervinna det stora etikettutrymmet, vilket skulle vara opraktiskt för traditionella dynamiska programmeringslösningar. Denna modell implementeras i ett normaliseringssystem kallat UNLOL, som uppnår de mest kända resultaten på två normaliseringsdatauppsättningar, som presterar mer komplexa system. Vi använder utdata från UNLOL för att automatiskt normalisera en stor corpus av sociala medier text, avslöjar en uppsättning sammanhängande ortografiska stilar som ligger till grund för språkvariation online.
REF införde en oövervakad log linjär modell för textnormalisering.
A Log-Linear Model for Unsupervised Text Normalization
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}