De flesta av de senaste åtgärdernas lokaliseringssystem behandlar varje åtgärdsförslag individuellt, utan att uttryckligen utnyttja sina relationer under lärandet. Förhållandet mellan förslagen spelar dock i själva verket en viktig roll för lokaliseringen av åtgärder, eftersom en meningsfull åtgärd alltid består av flera förslag i en video. I detta dokument föreslår vi att förbindelserna med förslaget utnyttjas med hjälp av diagramkonvolutionella nätverk (GCN). För det första skapar vi ett diagram över åtgärdsförslag, där varje förslag representeras som en nod och deras förhållande mellan två förslag som en kant. Här använder vi två typer av relationer, den ena för att fånga upp kontextinformationen för varje förslag och den andra för att karakterisera sambanden mellan olika åtgärder. Sedan tillämpar vi GCN över grafen för att modellera relationerna mellan olika förslag och lära sig kraftfulla representationer för åtgärdsklassificering och lokalisering. Experimentella resultat visar att vår strategi avsevärt överträffar den senaste tekniken på THUMOS14 (49,1 % mot 42,8 %). Dessutom, enhancementation experiment på Activi-tyNet verifierar också effektiviteten av modellering åtgärd förslag relationer. * anger lika bidrag. Detta arbete utfördes när Runhao Zeng tjänstgjorde som forskningspraktikant i Tencent AI Lab under överinseende av Wenbing Huang. † Motsvarande upphovsman Classification Regression Action Assessment
Zeng m.fl. REF tillämpar Graph Convolutional Networks (GCN) över diagrammet för att modellera relationerna mellan olika förslag och lära sig kraftfulla representationer för åtgärdsklassificering och lokalisering.
Graph Convolutional Networks for Temporal Action Localization
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}