Mänskliga aktivitetsigenkänning hanteras vanligtvis genom att upptäcka nyckelbegrepp som global och lokal rörelse, funktioner relaterade till objektklasser som finns i scenen, samt funktioner relaterade till det globala sammanhanget. Nästa öppna utmaningar i aktivitetsigenkänning kräver en nivå av förståelse som driver bortom detta och kräver modeller med förmåga till fin distinktion och detaljerad förståelse av interaktioner mellan aktörer och objekt i en scen. Vi föreslår en modell som kan lära sig att resonera om semantiskt meningsfulla spatio-temporala interaktioner i videor. Nyckeln till vår strategi är ett val av att utföra detta resonemang på objektnivå genom integrering av toppmoderna nätverk för objektdetektering. Detta gör det möjligt för modellen att lära sig detaljerade rumsliga interaktioner som finns på en semantisk, objekt-interaktion relevant nivå. Vi utvärderar vår metod på tre standard dataset (Twenty-BN Något-Något, VLOG och EPIC Kitchens) och uppnå toppmoderna resultat på alla av dem. Slutligen visar vi visualiseringar av de interaktioner som modellen lärt oss, vilket illustrerar objektklasser och deras interaktioner som motsvarar olika aktivitetsklasser.
Baradel m.fl. REF föreslår att man utför visuellt resonemang på objektnivå om spatiotemporala interaktioner i videor genom integrering av nätverk för objektdetektering.
Object Level Visual Reasoning in Videos
{'venue': 'ECCV 2018', 'journal': None, 'mag_field_of_study': ['Computer Science']}