Vi föreslår en svagt övervakad temporal aktivitet localization algoritm på otrimmade videor med hjälp av konvolutionella neurala nätverk. Vår algoritm lär sig från video-nivå klass etiketter och förutsäger temporal intervall av mänskliga handlingar utan krav på temporal localization annoteringar. Vi designar vårt nätverk för att identifiera en gles delmängd av nyckelsegment i samband med målåtgärder i en video med hjälp av en uppmärksamhetsmodul och säkra nyckelsegmenten genom adaptiv tidspoolning. Vår förlustfunktion består av två termer som minimerar åtgärdsklassificeringsfelet på videonivå och upprätthåller segmentets gleshet. Vid inferencetid, extraherar vi och poäng temporal förslag med hjälp av timliga klass aktiveringar och klass-agnostic uppmärksamhet för att uppskatta de tidsintervall som motsvarar målåtgärder. Den föreslagna algoritmen uppnår toppmoderna resultat på datauppsättningen THUMOS14 och enastående prestanda på ActivityNet1.3 även med dess svaga tillsyn.
STPN Ref antog en uppmärksamhetsmodul för att identifiera en gles delmängd av nyckelåtgärdssegmenten i en video, och sammansmälte nyckelsegmenten till åtgärdsregioner genom adaptiv tidspoolning.
Weakly Supervised Action Localization by Sparse Temporal Pooling Network
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}