De flesta av de senaste framstegen på visuell frågesvar är baserade på återkommande neurala nätverk (RNN) med uppmärksamhet. Trots framgångarna är dessa modeller ofta tidskrävande och har svårt att modellera beroenden på lång sikt på grund av RNN:s sekventiella karaktär. Vi föreslår en ny arkitektur, Positional Self Attention with Coattention (PSAC), som inte kräver RNN för att svara på videofrågor. Speciellt, inspirerad av framgången med själv-attention i maskinöversättning uppgift, föreslår vi en Positional Själv-Attention att beräkna svaret på varje position genom att ta hand om alla positioner inom samma sekvens, och sedan lägga till representationer av absoluta positioner. Därför kan PSAC utnyttja de globala beroendena av fråge- och tidsinformation i videon, och göra processen av fråge- och videokodning utförs parallellt. Dessutom, förutom att titta på videofunktioner som är relevanta för de givna frågorna (dvs. video uppmärksamhet), använder vi co-attention mekanism genom att samtidigt modellera "vilka ord att lyssna på" (fråga uppmärksamhet). Såvitt vi vet är detta det första arbetet med att ersätta RNN:er med självbetjäning för uppgiften att besvara visuella frågor. Experimentella resultat av fyra uppgifter på referensdatauppsättningen visar att vår modell avsevärt överträffar toppmoderna på tre uppgifter och uppnår jämförbara resultat på greveuppgiften. Vår modell kräver mindre beräkningstid och ger bättre prestanda jämfört med de RNNs-baserade metoderna. Ytterligare ablation studie visar effekten av varje komponent i vår föreslagna modell.
I REF används positional self-attention och co-attention för att ersätta RNN i video frågesvar.
Beyond RNNs: Positional Self-Attention with Co-Attention for Video Question Answering
{'venue': 'AAAI', 'journal': None, 'mag_field_of_study': ['Computer Science']}