Spatiotemporell funktionsinlärning i videor är ett grundläggande problem i datorseendet. Detta dokument presenterar en ny arkitektur, som kallas Utseende-och-Relation Network (ARTNet), för att lära sig video representation i ett slut-till-slut sätt. ARTNets är konstruerade genom att stapla flera generiska byggstenar, kallas SMART, vars mål är att samtidigt modellera utseende och relation från RGB ingång på ett separat och explicit sätt. Speciellt, SMART blockerar koppla spatiotemporal inlärning modulen till en utseende gren för rumslig modellering och en relation gren för tidsbaserad modellering. Utseende grenen genomförs baserat på den linjära kombinationen av pixlar eller filter svar i varje ram, medan relation grenen är utformad baserat på multiplikativa interaktioner mellan pixlar eller filter svar över flera ramar. Vi utför experiment på tre åtgärd erkännande riktmärken: Kinetics, UCF101, och HMDB51, visar att SMART block få en tydlig förbättring över 3D-konvolutioner för spatiotemporal funktionsinlärning. Under samma utbildning, ARTNets uppnå överlägsen prestanda på dessa tre datauppsättningar till de befintliga state-of-the-art metoder. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning.
Wang m.fl. REF föreslog en ny arkitektur kallad Utseende-och-relationsnätverk (ARTNet) som samtidigt extraherade utseendeinformation och relationsinformation från videor på ett separat och explicit sätt.
Appearance-and-Relation Networks for Video Classification
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}