Vi föreslår en ny självövervakad metod, kallad Video Cloze Procedure (VCP), för att lära sig rika rumsliga-temporala representationer. VCP genererar först "blanks" genom att undanhålla videoklipp och sedan skapa "alternativ" genom att tillämpa spatiotemporal operationer på de undanhållna klipp. Slutligen fyller det luckorna med "alternativ" och lär sig representationer genom att förutsäga de kategorier av operationer som tillämpas på klippen. VCP kan fungera som antingen en proxyuppgift eller en måluppgift i självövervakad inlärning. Som en proxy uppgift omvandlar den rika självövervakade representationer till videoklipp (alternativ), vilket ökar flexibiliteten och minskar komplexiteten i representationsinlärning. Som måluppgift kan den bedöma inlärda representationsmodeller på ett enhetligt och tolkningsbart sätt. Med VCP tränar vi rumslig-temporala representationsmodeller (3D-CNN) och tillämpar sådana modeller på actionigenkänning och videohämtningsuppgifter. Experiment med allmänt använda riktmärken visar att de utbildade modellerna överträffar de senaste självövervakade modellerna med betydande marginaler.
I REF föreslogs videoklosproceduren (VCP) för att lära sig den rumsliga-temporala representationen av videodata baserat på en metod som använder rumsliga rotationer och tidsväxlingsmetod, vilket förbättrade noggrannheten i igenkänningen av åtgärder.
Video Cloze Procedure for Self-Supervised Spatio-Temporal Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}