Neural språk modeller förutsäga nästa token med hjälp av en latent representation av den omedelbara token historia. Nyligen har olika metoder för att förstärka neurala språkmodeller med en uppmärksamhetsmekanism över ett differentialt minne föreslagits. För att förutsäga nästa token, dessa modeller fråga information från ett minne av den senaste historien som kan underlätta lärande mellan-och långdistans beroenden. Men konventionella uppmärksamhetsmekanismer som används i memoryaugmented neural språk modeller producerar en enda utgång vektor per tid steg. Denna vektor används både för att förutsäga nästa token samt för nyckeln och värdet av ett differentiable minne av en token historia. I detta dokument föreslår vi en neural språkmodell med en nyckelvärde uppmärksamhetsmekanism som ger separata representationer för nyckeln och värdet av ett differentiable minne, samt för kodning av nästa ord distribution. Denna modell överträffar befintliga memoryaugmented neural language modeller på två corpora. Ändå fann vi att vår metod huvudsakligen använder ett minne av de fem senaste utdata representationer. Detta ledde till det oväntade huvudsakliga konstaterandet att en mycket enklare modell baserad endast på konkatetering av den senaste produktionen representationer från tidigare steg är på samma nivå som mer sofistikerade minne-augmenterade neurala språk modeller.
REF introducerar en nyckel-värde uppmärksamhet modell för neural språk modellering som separerar utgående vektorer i nycklar för att beräkna uppmärksamhet distribution och värden för kodning nästa ord distribution och sammanhang representation.
Frustratingly Short Attention Spans in Neural Language Modeling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}