Vi föreslår en förenklad modell av uppmärksamhet som är tillämplig på feed-forward neurala nätverk och visar att den resulterande modellen kan lösa den syntetiska "addition" och "multiplikation" långsiktiga minnesproblem för sekvenslängder som är både längre och mer varierande än de bästa publicerade resultaten för dessa uppgifter. Många problem i maskininlärning är bäst formulerade med hjälp av sekventiella data och lämpliga modeller för dessa uppgifter måste kunna fånga temporal beroenden i sekvenser, potentiellt av godtycklig längd. En sådan klass av modeller är återkommande neurala nätverk (RNN), som kan betraktas som en inlärbar funktion f vars utdata h t = f (x t, h t ) vid tiden t beror på input x t och modellens tidigare tillstånd h t ‐1. Utbildning av RNN med backpropagation genom tiden (Werbos, 1990) hindras av den försvinnande och exploderande lutning problem Hochreiter & Schmidhuber, 1997; Bengio et al., 1994), och som ett resultat RNNs tillämpas i praktiken endast i uppgifter där sekventiella beroenden spänner vid de flesta hundratals tidssteg. Mycket långa sekvenser kan också göra utbildningen ineffektiv på grund av att RNN måste utvärderas sekventiellt och inte helt kan parallelliseras. En nyligen föreslagen metod för att underlätta modellering av långsiktiga beroenden är "attention". Uppmärksamhetsmekanismerna möjliggör ett mer direkt beroende av modellens tillstånd vid olika tidpunkter. Efter definitionen från (Bahdanau et al., 2014), givet en modell som producerar en dold tillstånd h t vid varje tidpunkt steg, uppmärksamhet-baserade modeller beräkna en "kontext" vektor c t som det viktade medelvärdet av staten sekvens h genom där T är det totala antalet tidssteg i inmatningssekvensen och α tj är en vikt som beräknas vid varje tidpunkt steg t för varje tillstånd h j. Dessa sammanhangsvektorer används sedan för att beräkna en ny tillståndssekvens s, där s t beror på s t−1, c t och modellens utdata vid t − 1. Viktningarna α ij beräknas sedan av e tj = a(s t‐1, h j ), α tj = exp(e tj ) T k=1 exp(e tk ) där a är en inlärd funktion som kan betraktas som beräkning av ett skalarviktsvärde för h j med tanke på värdet av h j och det tidigare tillståndet s t‐1. Denna formulering gör det möjligt för den nya staten sekvens s att ha mer direkt tillgång till hela staten sekvens h. Uppmärksamhet-baserade RNNs har visat sig vara effektiva i en mängd olika sekvenstransduktion uppgifter, inklusive maskinöversättning (Bahdanau et al., 2014), bildtextning (Xu et al., 2015), och taligenkänning (Chan et al., 2015; Bahdanau et al., 2015). Uppmärksamhet kan ses som jämförbar med de "mjuka adressering" mekanismerna i den nyligen föreslagna Neural Turing Machine (Graves et al., 2014) och End-To-End Memory Network (Sukhbaatar et al., 2015) modeller. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning.
Raffel och Ellis REF tillämpade uppmärksamhetsmekanism för det återkommande neurala nätverket (RNN) och uppnådde avancerade resultat på flera NLP uppgifter.
Feed-Forward Networks with Attention Can Solve Some Long-Term Memory Problems
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}