....................................... Att besvara frågor i videofilmer inbegriper både rörelse - och utseendeanalys, och kräver vanligtvis flera omgångar av resonemang, i synnerhet för transitiva frågor, t.ex. " Vad gör kvinnan efter att ha sett osäker ut?", måste vi först lokalisera när kvinnan ser osäker ut, vilket kräver rörelsebevis för att se osäkra och utseende bevis för kvinnan; och sedan fokusera på vad kvinnan gör (smil). Video Question Answering (QA) är en viktig uppgift för att förstå video temporal struktur. Vi observerar att det finns tre unika attribut för video QA jämfört med bild QA: (1) det handlar om långa sekvenser av bilder som innehåller rikare information inte bara i kvantitet utan också i variation; (2) rörelse och utseende information är vanligtvis korrelerade med varandra och kan ge användbar uppmärksamhet signaler till den andra; (3) olika frågor kräver olika antal ramar för att dra slutsatsen svaret. Baserat på dessa observationer, föreslår vi en rörelse-framträdande comemory nätverk för video QA. Våra nätverk bygger på koncept från Dynamic Memory Network (DMN) och introducerar nya mekanismer för video QA. Det finns tre viktiga aspekter: 1) en gemensam uppmärksamhetsmekanism som använder signaler från både rörelse och utseende för att skapa uppmärksamhet; 2) ett temporalt conv-deconv-nätverk för att generera kontextuella fakta på flera nivåer; 3) en dynamisk faktaensemblemetod för att konstruera temporal representation dynamiskt för olika frågor. Vi utvärderar vår metod på TGIF-QA dataset, och resultaten överträffar state-of-art avsevärt på alla fyra uppgifter TGIF-QA. * anger lika bidrag.
REF utformar det dynamiska minnesnätverket för att lära sig tidsvideorepresentationer för frågesvar.
Motion-Appearance Co-memory Networks for Video Question Answering
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}