Vi föreslår en strategi för självövervakad representationsinlärning baserad på att maximera ömsesidig information mellan funktioner som utvunnits ur flera synsätt i ett gemensamt sammanhang. Till exempel kan ett sammanhang vara en bild från ImageNet, och flera vyer av sammanhanget kan genereras genom att upprepade gånger tillämpa dataförstärkning på bilden. Efter detta tillvägagångssätt utvecklar vi en ny modell som maximerar ömsesidig information mellan funktioner som extraheras i flera skalor från oberoende-augmenterade kopior av varje indata. Vår modell överträffar avsevärt tidigare arbete med de uppgifter vi överväger. Framför allt uppnår det över 60% noggrannhet på ImageNet med hjälp av standard linjär utvärdering protokoll. Detta förbättrar tidigare resultat med över 4% (absolut). På Places205, med hjälp av de representationer som vi lärt oss på ImageNet, uppnår vår modell 50% noggrannhet. Detta förbättrar tidigare resultat med 2% (absolut). När vi utökar vår modell för att använda blandningsbaserade representationer framträder segmenteringsbeteende som en naturlig bieffekt.
AMDIM REF lär sig funktioner som extraheras från multiplar vyer som produceras genom upprepade gånger tillämpa dataökning på inmatningsbilden, uppnå 68,1% noggrannhet på ImageNet.
Learning Representations by Maximizing Mutual Information Across Views
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}