Medan övervakad lärande har möjliggjort stora framsteg i många tillämpningar, har oövervakat lärande inte sett så utbredd adoption, och är fortfarande en viktig och utmanande strävan efter artificiell intelligens. I detta arbete föreslår vi en universell oövervakad inlärningsmetod för att extrahera användbara representationer från högdimensionella data, som vi kallar kontrastiv prediktiv kodning. Den viktigaste insikten i vår modell är att lära sig sådana representationer genom att förutsäga framtiden i latent utrymme med hjälp av kraftfulla autoregressiva modeller. Vi använder en probabilistisk kontrasterande förlust som inducerar det latenta utrymmet för att fånga information som är maximalt användbar för att förutsäga framtida prover. Det gör också modellen dragbar genom att använda negativ provtagning. Medan de flesta tidigare arbeten har fokuserat på att utvärdera representationer för en viss modalitet, visar vi att vår strategi kan lära sig användbara representationer uppnå starka resultat på fyra olika områden: tal, bilder, text och förstärka lärande i 3D-miljöer.
En av de relaterade metoderna till vår strategi är Kontrastive Predictive Coding (CPC) REF.
Representation Learning with Contrastive Predictive Coding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}