Text normalisering är uppgiften att kartlägga icke-kanoniska språk, typiskt för tal transkription och datormedierad kommunikation, till en standardiserad skrift. Det är en aktuell uppgift som är nödvändig för att möjliggöra efterföljande direkt sysselsättning av standardverktyg för bearbetning av naturligt språk och nödvändig för språk som schweizisk tyska, med stark regional variation och ingen skriftlig standard. Text normalisering har behandlats med en mängd olika metoder, mest framgångsrikt med tecken-nivå statistisk maskinöversättning (CSMT). Under tiden har maskinöversättningen förändrats och de nya metoderna, så kallade neural encoder-dekoder (ED) modeller, resulterade i anmärkningsvärda förbättringar. Men en normalisering av texten har ännu inte följt. Ett antal neurala metoder har prövats, men CSMT är fortfarande toppmodernt. I detta arbete normaliserar vi schweiziska tyska WhatsApp-meddelanden med hjälp av ED-ramverket. Vi utnyttjar flexibiliteten i denna ram, som gör det möjligt för oss att lära oss av samma utbildningsdata på olika sätt. I synnerhet ändrar vi avkodningsstadiet för en vanlig ED-modell så att den omfattar målbaserade språkmodeller som arbetar på olika nivåer av granularitet: tecken och ord. Vår systematiska jämförelse visar att vår strategi resulterar i en förbättring jämfört med CSMT state-of-the-art.
REF utförde textnormalisering över schweiziska tyska WhatsApp-meddelanden och jämförde det med ett toppmodernt SMT-system.
Encoder-decoder methods for text normalization
{'venue': 'VarDial@COLING 2018', 'journal': None, 'mag_field_of_study': ['Computer Science']}