Vi undersöker metoder för att kombinera flera självövervakade uppgifter-d.v.s. övervakade uppgifter där data kan samlas in utan manuell märkning-in för att träna en enda visuell representation. Först ger vi en äppel-till-apples jämförelse av fyra olika självövervakade uppgifter med hjälp av den mycket djupa ResNet-101 arkitekturen. Vi kombinerar sedan uppgifter för att gemensamt utbilda ett nätverk. Vi utforskar också lasso legalisering för att uppmuntra nätverket att faktorisera informationen i sin representation, och metoder för att "harmonisera" nätverksingångar för att lära sig en mer enhetlig representation. Vi utvärderar alla metoder på ImageNet klassificering, PASCAL VOC detektion, och NYU djup förutsägelse. Våra resultat visar att djupare nätverk fungerar bättre, och att kombinera uppgifter-även via en naiv multihead arkitektur-alltid förbättrar prestanda. Vårt bästa gemensamma nätverk matchar nästan PASCAL prestanda för en modell som är förträngd på ImageNet klassificering, och matchar ImageNet nätverk på NYU djup förutsägelse.
Till exempel har REF undersökt flera självövervakade metoder för att uppmuntra nätverket att faktorisera informationen i sin representation.
Multi-task Self-Supervised Visual Learning
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}