Sociala medier språk innehåller enorma mängder och ett brett utbud av icke-standard tokens, skapas både avsiktligt och oavsiktligt av användarna. Det är av avgörande betydelse att normalisera de bullriga icke-standard tokens innan du använder andra NLP-tekniker. En stor utmaning för denna uppgift är systemtäckningen, d.v.s. för alla användarskapade icke-standardterm, systemet bör kunna återställa rätt ord inom sina topp n utdatakandidater. I detta dokument föreslår vi ett kognitivt styrt normaliseringssystem som integrerar olika mänskliga perspektiv i normalisering av icke-standardpolletter, inklusive förbättrad bokstavsomvandling, visuell priming, och sträng/fontisk likhet. Systemet utvärderades både på ord- och meddelandenivå med hjälp av fyra SMS- och Twitter-dataset. Resultaten visar att vårt system uppnår över 90 % word-coverage i alla datamängder (en absolut ökning på 10 % jämfört med den senaste tekniken); det breda word-coveraget kan också med framgång översättas till prestandavinster på budskapsnivå, vilket ger 6 % absolut ökning jämfört med den bästa tidigare metoden.
REF föreslog ett brett täckning normaliseringssystem, som integrerar en utökad bullriga kanalmodell, som bygger på förbättrade bokstavsomvandlingar, visuell priming, sträng och fonetisk likhet.
A Broad-Coverage Normalization System for Social Media Language
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}