Abstrakt. Vi föreslår en ny metod för att lära sig konvolutionella neurala bild representationer utan manuell övervakning. Vi använder rörelsesignaler i form av optiskt flöde, för att övervaka representationer av statiska bilder. Det uppenbara tillvägagångssättet att utbilda ett nätverk för att förutsäga flödet från en enda bild kan vara onödigt svårt på grund av inneboende tvetydigheter i denna förutsägelse uppgift. Vi föreslår istället ett mycket enklare inlärningsmål: bädda in pixlar så att likheten mellan deras inbäddningar matchar den mellan deras optiska flödesvektorer. Vid testtillfället kan det lärda djupa nätverket användas utan tillgång till video- eller flödesinformation och överföras till uppgifter som bildklassificering, detektion och segmentering. Vår metod, som avsevärt förenklar tidigare försök att använda rörelse för självövervakning, uppnår toppmoderna resultat i självövervakning med hjälp av rörelsesignaler, konkurrenskraftiga resultat för självövervakning i allmänhet, och är totalt sett toppmodern inom självövervakad förutbildning för semantisk bildsegmentering, vilket visas på standardriktmärken.
Istället, REF "överföring" optisk flödesinformation till pixel inbäddningar så att deras skillnad matchar skillnaden mellan optiska flödesvektorer av samma pixlar.
Cross Pixel Optical Flow Similarity for Self-Supervised Learning
{'venue': 'ACCV', 'journal': None, 'mag_field_of_study': ['Computer Science']}