Återkommande neurala nätverk (RNNs), såsom långa kortsiktiga minnesnätverk (LSTMs), fungerar som en grundläggande byggsten för många sekvens lärande uppgifter, inklusive maskinöversättning, språkmodellering, och frågesvar. I detta dokument tar vi hänsyn till det specifika problemet med språkmodellering på ordnivå och undersöker strategier för att legalisera och optimera LSTM-baserade modeller. Vi föreslår vikt-släppt LSTM som använder DropConnect på gömda vikter som en form av återkommande legalisering. Vidare introducerar vi NT-ASGD, en variant av den genomsnittliga stokastiska lutningsmetoden, där medelutlösaren bestäms med hjälp av ett icke-monotoniskt tillstånd i stället för att ställas in av användaren. Med hjälp av dessa och andra legaliseringsstrategier, uppnår vi toppmoderna ordnivå perplexiteter på två datauppsättningar: 57,3 på Penn Treebank och 65,8 på WikiText-2. Genom att undersöka effektiviteten av en neural cache i samband med vår föreslagna modell, uppnår vi en ännu lägre state-of-the-art perplexity på 52,8 på Penn Treebank och 52,0 på WikiText-2.
REF undersökte effekten av en cachemodell i termer av skillnaden i log perplexity för varje ord.
Regularizing and Optimizing LSTM Language Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}