Sociala medier texter är skrivna i en informell stil, vilket hindrar andra naturliga språkbehandling (NLP) tillämpningar såsom maskinöversättning. Text normalisering är därför viktigt för bearbetning av sociala medier text. Tidigare arbete fokuserade främst på att normalisera ord genom att ersätta ett informellt ord med dess formella form. I detta dokument, för att ytterligare förbättra andra nedströms NLP-tillämpningar, hävdar vi att andra normaliseringsåtgärder också bör utföras, t.ex. saknade ord återvinning och interpunktion korrigering. En ny avkodare för strålsökning föreslås för att effektivt integrera olika normaliseringsåtgärder. Empiriska resultat visar att vårt system uppnår statistiskt signifikanta förbättringar över två starka baslinjer i både normaliserings- och översättningsuppgifter, för både kinesiska och engelska.
REF använder en avkodare för strålesökning.
A Beam-Search Decoder for Normalization of Social Media Text with Application to Machine Translation
{'venue': 'NAACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}