Vi beskriver en enkel neural språkmodell som endast bygger på tecken-nivå ingångar. Förutsägelser görs fortfarande på ordnivå. Vår modell använder ett konvolutionellt neuralt nätverk (CNN) och ett motorvägsnät över tecken, vars utgång ges till en lång korttidsminne (LSTM) återkommande neurala nätverk språkmodell (RNN-LM). På den engelska Penn Treebank är modellen i nivå med den befintliga toppmoderna modellen trots att den har 60 % färre parametrar. På språk med rik morfologi (arabiska, tjeckiska, franska, tyska, spanska, ryska) överträffar modellen word-level/morpheme-level LSTM-baslinjer, återigen med färre parametrar. Resultaten tyder på att teckenindata på många språk är tillräckliga för språkmodellering. Analys av ordrepresentationer från modellens karaktärssammansättning visar att modellen endast kan koda från tecken, både semantisk och ortografisk information.
I REF Kim et al. föreslå ett konvolutionellt neuralt nätverk och ett motorvägsnät över tecken (CharCNN), vars utgång ges till en LSTM språkmodell.
Character-Aware Neural Language Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}