Short Messaging Service (SMS) texter beter sig helt annorlunda än vanliga skrivna texter och har några mycket speciella fenomen. För att översätta SMS-texter, traditionella metoder modell sådana oegentligheter direkt i Machine Translation (MT). Men sådana metoder lider av anpassningsproblem eftersom enorma ansträngningar krävs för att anpassa språkmodellen i det befintliga översättningssystemet för att hantera SMS-textstil. Vi erbjuder ett alternativt tillvägagångssätt för att lösa sådana oegentligheter genom att normalisera SMS-texter före MT. I detta dokument ser vi uppgiften SMS normalisering som ett översättningsproblem från SMS-språket till det engelska språket 1 och vi föreslår att anpassa en frasbaserad statistisk MT-modell för uppgiften. Utvärdering med 5-faldig korsvalidering på en parallell SMS-normaliserad corpus på 5000 meningar visar att vår metod kan uppnå 0,80702 i BLEU-poäng mot BLEU-poängen 0,6958. Ett annat experiment med att översätta SMS-texter från engelska till kinesiska på en separat SMS-text corpus visar att, med SMS normalisering som MT förbehandling kan till stor del öka SMS översättning prestanda från 0.1926 till 0.3770 i BLEU poäng. SMS översättning är en mobil maskin översättning (MT) program som översätter ett meddelande från ett språk till ett annat. Även om det finns många kommersiella MT-system fungerar inte direkt användning av sådana system bra på grund av de speciella fenomenen i SMS-texter, t.ex. den unika avslappnade och kreativa skrivstilen och den frekventa användningen av okonventionella och ännu inte standardiserade kortformer. Direkt modellering av dessa speciella fenomen i MT kräver enorma ansträngningar. Alternativt kan vi normalisera SMS-texter till 1 Denna uppsats diskuterar endast engelsk SMS-text normalisering. grammatiska texter före MT. På så sätt behandlas det traditionella MT som en "svart låda" med liten eller minimal anpassning. En fördel med denna pre-translation normalisering är att mångfalden i olika användargrupper och domäner kan modelleras separat utan tillgång till och anpassning av MT-systemets språkmodell för varje SMS-applikation. En annan fördel är att normaliseringsmodulen enkelt kan användas av andra program, såsom SMS till röstbrevlåda och SMS-baserad information fråga. I detta dokument presenterar vi en frasbaserad statistisk modell för normalisering av SMS-text. Normaliseringen visualiseras som ett översättningsproblem där meddelanden i SMS-språket ska översättas till normal engelska med hjälp av en liknande frasbaserad statistisk MT-metod (Koehn et al., 2003). Vi använder IBM: s BLEU score (Papineni et al., 2002) för att mäta prestanda SMS text normalisering. BLEU poäng beräknar likheten mellan två meningar med hjälp av n-gram statistik, som används i stor utsträckning i MT utvärdering. En uppsättning parallella SMS-meddelanden, bestående av 5000 obehandlade (onormaliserade) SMS-meddelanden och deras manuellt normaliserade referenser, är konstruerade för utbildning och testning. Utvärdering med femfaldig korsvalidering på denna corpus visar att vår metod kan uppnå noggrannhet på 0,80702 i BLEU-poäng jämfört med baslinjesystemet på 0,6985. Vi studerar också inverkan av vår SMS-text normalisering på uppgiften att SMS översättning. Experimentet med att översätta SMS-texter från engelska till kinesiska på en corpus bestående av 402 SMS-texter visar att SMS normalisering som ett förbearbetningssteg av MT kan öka översättningsprestandan från 0,1926 till 0,3770 i BLEU-poäng. Resten av tidningen är organiserad enligt följande. Avsnitt 2 innehåller en översikt över arbetet i samband med detta. I avsnitt 3 sammanfattas egenskaperna hos engelska SMS-texter. Avsnitt 4 diskuterar vår metod och Avsnitt 5 rapporterar våra experiment. Avsnitt 6 avslutar dokumentet.
Till exempel föreslog Aw Ref en frasbaserad maskinöversättningsmetod.
A Phrase-Based Statistical Model For SMS Text Normalization
{'venue': 'International Conference On Computational Linguistics And Annual Meeting Of The Association For Computational Linguistics - Poster Sessions', 'journal': None, 'mag_field_of_study': ['Computer Science']}