Uppmärksamhetsnätverk har visat sig vara ett effektivt tillvägagångssätt för att inbädda kategoriska slutsatser i ett djupt neuralt nätverk. Men för många uppgifter kanske vi vill modellera rikare strukturella beroenden utan att överge end-to-end-utbildning. I detta arbete experimenterar vi med att integrera rikare strukturella distributioner, kodade med grafiska modeller, inom djupa nätverk. Vi visar att dessa strukturerade uppmärksamhetsnätverk är enkla utvidgningar av det grundläggande uppmärksamhetsförfarandet, och att de gör det möjligt att utvidga uppmärksamheten utöver den vanliga mjuka urvalsmetoden, såsom att ägna sig åt partiella segmenteringar eller underträd. Vi experimenterar med två olika klasser av strukturerade uppmärksamhetsnätverk: ett linjärt kedjevillkorat slumpmässigt fält och en grafbaserad tolkningsmodell, och beskriver hur dessa modeller praktiskt taget kan implementeras som neurala nätverkslager. Experiment visar att detta tillvägagångssätt är effektivt för att införliva strukturella fördomar, och strukturerade uppmärksamhet nätverk överträffar baslinje uppmärksamhet modeller på en mängd olika syntetiska och verkliga uppgifter: trädtransduktion, neural maskinöversättning, frågesvar, och naturlig språk inference. Vi finner vidare att modeller utbildade på detta sätt lär sig intressanta oövervakade dolda representationer som generaliserar enkel uppmärksamhet.
I REF ingår rikare strukturella distributioner inom de djupa nätverken för att utvidga uppmärksamhetsmodellen.
Structured Attention Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}