Neurala arkitekturer är framträdande i byggandet av språkmodeller. Emellertid, ordnivå förutsägelse är typiskt agnostic av subword-nivå information (tecken och teckensekvenser) och fungerar över en stängd vokabulär, bestående av en begränsad orduppsättning. Även om underord-medvetna modeller ökar prestandan för en mängd olika NLP-uppgifter, utvärderade tidigare arbete inte förmågan hos dessa modeller för att hjälpa nästa ord förutsägelse i språkmodellering uppgifter. Sådana underordsbaserade modeller bör vara särskilt effektiva för morfologiskt rika språk som uppvisar hög typ-to-to-ken-kvot. I detta arbete presenterar vi en storskalig LM-studie på 50 typologiskt olika språk som täcker en mängd olika morfologiska system, och erbjuder nya LM-riktmärken för samhället, samtidigt som subword-nivå information. Det viktigaste tekniska bidraget av vårt arbete är en ny metod för att injicera subwordlevel information i semantiska ord vektorer, integrerad i neural språk modellering utbildning, för att underlätta ordnivå förutsägelse. Vi utför experiment i LM-miljö där antalet sällan förekommande ord är stort, och visar på starka perplexitetsvinster över våra 50 språk, särskilt för morfologiskt rika språk. Våra koder och datamängder är allmänt tillgängliga.
REF uppnådde ett förbättrat resultat på 50 språk av typologiskt olika slag genom att ge information på underordsnivå till ordvektorer vid softmax.
Language Modeling for Morphologically Rich Languages: Character-Aware Modeling for Word-Level Prediction
{'venue': 'Transactions of the Association for Computational Linguistics', 'journal': 'Transactions of the Association for Computational Linguistics', 'mag_field_of_study': ['Computer Science']}