Minnesnätverk är neurala nätverk med en explicit minne komponent som kan både läsas och skrivas till av nätverket. Minnet tas ofta upp på ett mjukt sätt med hjälp av en softmax-funktion, vilket gör end-to-end träning med backpropagation möjlig. Detta är dock inte beräkningsbart för applikationer som kräver att nätverket läser från extremt stora minnen. Å andra sidan är det välkänt att mekanismer för hård uppmärksamhet som bygger på förstärkt inlärning är utmanande att träna framgångsrikt. I den här artikeln utforskar vi en form av hierarkiskt minnesnätverk, som kan betraktas som en hybrid mellan hårda och mjuka uppmärksamhetsminnesnätverk. Minnet är organiserat i en hierarkisk struktur så att läsning från det görs med mindre beräkning än mjuk uppmärksamhet över ett platt minne, samtidigt som det är lättare att träna än hård uppmärksamhet över ett platt minne. Vi föreslår att Maximum Inner Product Search (MIPS) införlivas i utbildnings- och slutledningsförfarandena för vårt hierarkiska minnesnätverk. Vi undersöker användningen av olika toppmoderna approximativa MIPS-tekniker och rapporterar resultat om enkla frågor, en utmanande storskalig faktafråga svar uppgift.
Hierarkiska minnesnätverk REF ) studera användningen av maximal inre produktsökning (MIPS) för att lagra minnesplatser i en hierarki.
Hierarchical Memory Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}