Fram till nyligen, forskning om artificiella neurala nätverk var till stor del begränsad till system med endast två typer av variabel: Neurala aktiviteter som representerar den nuvarande eller senaste input och vikter som lär sig att fånga regularities bland ingångar, outputs och payoffs. Det finns ingen bra anledning till denna begränsning. Synapser har dynamik på många olika tidsskala och detta tyder på att artificiella neurala nätverk kan dra nytta av variabler som förändras långsammare än aktiviteter men mycket snabbare än standardvikterna. Dessa "snabbvikter" kan användas för att lagra tillfälliga minnen från det senaste förflutna och de ger ett neuralt rimligt sätt att genomföra den typ av uppmärksamhet till det förflutna som nyligen har visat sig vara mycket användbart i sekvens-till-sekvens modeller. Genom att använda snabba vikter kan vi undvika behovet av att lagra kopior av neurala aktivitetsmönster.
REF har nyligen använt snabbvikter för att ersätta mekanismen för mjuk uppmärksamhet.
Using Fast Weights to Attend to the Recent Past
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}