Sociala medier språk innehåller enorma mängder och ett brett utbud av icke-standard tokens, skapas både avsiktligt och oavsiktligt av användarna. Det är av avgörande betydelse att normalisera de bullriga icke-standard tokens innan du använder andra NLP-tekniker. En stor utmaning för denna uppgift är systemtäckningen, d.v.s. för alla användarskapade icke-standardterm, systemet bör kunna återställa rätt ord inom sina topp n utdatakandidater. I detta dokument föreslår vi ett kognitivt styrt normaliseringssystem som integrerar olika mänskliga perspektiv i normalisering av icke-standardpolletter, inklusive förbättrad bokstavsomvandling, visuell priming, och sträng/fontisk likhet. Systemet utvärderades både på ord- och meddelandenivå med hjälp av fyra SMS- och Twitter-dataset. Resultaten visar att vårt system uppnår över 90 % word-coverage i alla datamängder (en absolut ökning på 10 % jämfört med den senaste tekniken); det breda word-coveraget kan också med framgång översättas till prestandavinster på budskapsnivå, vilket ger 6 % absolut ökning jämfört med den bästa tidigare metoden.
Studien REF designar ett normaliseringssystem som integrerar förbättrad bokstavstransformation, visuell priming och sträng/fontisk likhet för SMS- och Twitterdataset.
A Broad-Coverage Normalization System for Social Media Language
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}