Vi introducerar en återkommande neural nätverk språkmodell (RNN-LM) med långtidsminne (LSTM) enheter som använder både tecken-nivå och ordnivå ingångar. Vår modell har en grind som adaptivt finner den optimala blandningen av tecken-nivå och ordnivå ingångar. Porten skapar den slutliga vektor representationen av ett ord genom att kombinera två distinkta representationer av ordet. Ingångarna på teckennivå omvandlas till vektorrepresentationer av ord med hjälp av en dubbelriktad LSTM. Ordnivåns ingångar projiceras in i ett annat högdimensionellt utrymme genom en uppslagstabell. De slutliga vektor representationer av ord används i LSTM språkmodell som förutsäger nästa ord ges alla de föregående orden. Vår modell med gating mekanism använder effektivt tecken-nivå ingångar för sällsynta och out-ofvokabulary ord och överträffar ord-nivå språkmodeller på flera engelska corpora.
Miyamoto och Cho REF använde en gating mekanism för att dynamiskt blanda ord-nivå och tecken-nivå representationer för språkmodeller.
Gated Word-Character Recurrent Language Model
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}