Förutom vanliga ord och namn innehåller den verkliga texten inte standardord, inklusive siffror, förkortningar, datum, valutabelopp och akronymer. Vanligtvis kan man inte hitta NSWs i en ordbok, inte heller kan man hitta deras uttal genom en tillämpning av vanliga "bokstav-till-ljud" regler. Icke-standardiserade ord har också en större benägenhet än vanliga ord att vara tvetydiga med avseende på deras tolkning eller uttal. I många tillämpningar är det önskvärt att "normalisera" texten genom att ersätta NSWs med det kontextuellt lämpliga vanliga ordet eller sekvensen av ord. Typisk teknik för text normalisering innebär uppsättningar av ad hoc-regler som är anpassade för att hantera en eller två genrer av text (ofta tidningsstil text) med det förväntade resultatet att teknikerna vanligtvis inte generaliserar väl till nya domäner. Syftet med det arbete som redovisas här är att ta några inledande steg mot att åtgärda brister i tidigare tillvägagångssätt för normalisering av text. Vi utvecklade en taxonomi av NSWs på grundval av fyra ganska distinkta texttyper-news text, en recept nyhetsgrupp, en hårdvara-produkt-specifika nyhetsgrupp, och fastighetsklassade annonser. Vi undersökte sedan tillämpningen av flera allmänna tekniker inklusive n-gram språkmodeller, beslut träd och viktade finita-state givare till intervallet av NSW-typer, och visade att en systematisk behandling kan leda till bättre resultat än vad som har erhållits genom ad hoc behandlingar som typiskt har använts tidigare. Särskilt för förkortningsexpansion undersökte vi både övervakade och oövervakade metoder. Vi rapporterar resultat i termer av word-terror rate, vilket är standard i taligenkänning utvärderingar, men som endast ibland har använts som en övergripande åtgärd för att utvärdera text normaliseringssystem.
REF föreslog en taxonomi av icke-standardord (NSW) och utforskade flera metoder som n-gram språkmodeller, beslut träd, viktade ändliga tillstånd transducers, etc., för text normalisering av NSWs.
Normalization of Non-Standard Words
{'venue': "WS'99 Final Report", 'journal': None, 'mag_field_of_study': ['Computer Science']}