För att minska de dyra kostnaderna för datainsamling och annotering föreslogs många självövervakade inlärningsmetoder för att lära sig bildrepresentationer utan kommentarer som märkts av människor. Självövervakad inlärning för videorepresentationer är dock ännu inte väl adresserad. I det här dokumentet föreslår vi en ny 3DConvNet-baserad helt självövervakad ram för att lära sig spatiotemporella videofunktioner utan att använda några människomärkta kommentarer. För det första en uppsättning fördesignade geometriska omvandlingar (t.ex. roterande 0 •, 90 •, 180 •, och 270 • ) tillämpas på varje video. Då kan en förevändningsuppgift definieras som "att känna igen de fördesignade geometriska omvandlingarna". Därför kan spatiotemporala videofunktioner läras in i processen för att utföra denna förevändning uppgift utan att använda mänskligt märkta annoteringar. De lärda spatiotemporala videorepresentationerna kan också användas som förträngda funktioner för olika videorelaterade applikationer. De föreslagna geometriska omvandlingarna (t.ex. rotationer) har visat sig vara effektiva för att lära sig representativa spatiotemporala funktioner i vårt 3DConvNet-baserade helt självövervakade ramverk. Med de förtränade spatiotemporella funktionerna från två stora videodatauppsättningar ökar prestandan för åtgärdsigenkänning avsevärt med 20,4 % på UCF101 dataset respektive 16,7 % på HMDB51 dataset jämfört med den från modellen tränad från grunden. Dessutom överträffar vårt ramverk state-of-the-art av helt självövervakade metoder på både UCF101 och HMDB51 datauppsättningar och uppnår 62,9% respektive 33,7% noggrannhet.
Nyligen, REF föreslå en självövervakad lärande modell 3DrotNet för 3D-sekvenser som input antar en rotation förutsägelse uppgift att lära sig de rika spatiotemporala funktioner.
Self-supervised Spatiotemporal Feature Learning by Video Geometric Transformations.
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}