Begreppen enhetliga utvecklingsmatriser och associativt minne har ökat fältet Recurrent Neural Networks (RNN) till toppmoderna prestanda i en mängd olika sekventiella uppgifter. RNN har dock fortfarande begränsad förmåga att manipulera långtidsminnet. För att kringgå denna svaghet använder de mest framgångsrika tillämpningarna av RNN externa tekniker såsom uppmärksamhetsmekanismer. I detta dokument föreslår vi en ny RNN-modell som förenar de senaste metoderna: Rotationsenhet för minne (RUM). Kärnan i RUM är dess rotationsoperation, som naturligtvis är en enhetlig matris, som ger arkitekturer möjlighet att lära sig långsiktiga beroenden genom att övervinna problemet med försvinnande och exploderande gradienter. Dessutom fungerar rotationsenheten också som ett associativt minne. Vi utvärderar vår modell på syntetisk memorering, frågesvar och språkmodelleringsuppgifter. RUM lär sig Copying Memory-uppgiften helt och hållet och förbättrar det toppmoderna resultatet i Recall-uppgiften. RUM:s prestanda i bAbI-frågan Svarsuppgiften är jämförbar med modellens med uppmärksamhetsmekanism. Vi förbättrar också det senaste resultatet till 1.189 bits-per-tecken (BPC) förlust i Character Level Penn Treebank (PTB) uppgift, vilket är att beteckna tillämpningar av RUM till verkliga sekventiella data. Det universella i vår konstruktion, i kärnan av RNN, etablerar RUM som en lovande strategi för språkmodellering, taligenkänning och maskinöversättning.
Rotationsenhet för minne REF är en associativ minnesmekanism relaterad till men skild från snabba vikter.
Rotational Unit of Memory
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}