Mänskliga handlingar innebär ofta komplexa interaktioner mellan flera inbördes relaterade objekt på scenen. Befintliga metoder för finkornig videouppfattning eller visuell relationsdetektering är dock ofta beroende av enkel objektrepresentation eller parvisa objektrelationer. Dessutom är inlärningsinteraktioner över flera objekt i hundratals ramar för video beräkning ogenomförbart och prestanda kan lida eftersom en stor kombinatoriska utrymme måste modelleras. I detta dokument föreslår vi att effektivt lära högre ordning interaktioner mellan godtyckliga undergrupper av objekt för finkornig video förståelse. Vi visar att modellering objektinteraktioner avsevärt förbättrar noggrannheten för både åtgärdsigenkänning och videotextning, samtidigt som man sparar mer än 3 gånger beräkningen över traditionella parvisa relationer. Den föreslagna metoden valideras på två storskaliga datauppsättningar: Kinetics och ActivityNet Captions. Våra SINet och SINet-Caption uppnår toppmoderna prestanda på båda datauppsättningarna även om videorna provtas på högst 1 FPS. Såvitt vi vet är detta det första arbetet med att modellera objektinteraktioner på öppna domäner, storskaliga videodataset, och vi modellerar dessutom högre ordning på objektinteraktioner som förbättrar prestandan med låga beräkningskostnader.
Mamma och Al. REF föreslog att man skulle modellera interaktion mellan objekt med högre ordning och uppmärksamhetsmekanism för att förstå åtgärder i videor.
Attend and Interact: Higher-Order Object Interactions for Video Understanding
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}