Att lära sig olika representationer anses vara ett grundläggande problem när det gäller representationslärande. Nyligen, Locallo et al. (2019) visade att oövervakad inlärning utan induktiva fördomar är teoretiskt omöjligt och att befintliga induktiva fördomar och oövervakade metoder inte tillåter att konsekvent lära sig olika representationer. I många praktiska sammanhang kan man dock ha tillgång till mycket begränsad handledning, till exempel genom manuell märkning av exempel på utbildning. I detta dokument undersöker vi hur en sådan övervakning påverkar de senaste metoderna för att lösa problem och genomför en storskalig studie, där man utbildar över 29 000 modeller under väldefinierade och reproducerbara experimentella förhållanden. Vi konstaterar först att ett mycket begränsat antal märkta exempel (0,01-0,5 % av datamängden) är tillräckligt för att utföra modellval på toppmoderna oövervakade modeller. Men om man har tillgång till etiketter för övervakade modellval väcker detta den naturliga frågan om huruvida de också bör införlivas i utbildningsprocessen. Som en fallstudie testar vi nyttan av att införa (mycket begränsad) övervakning i befintliga oövervakade, oövervakade metoder som utnyttjar både etiketternas värden och den ordinära information som kan härledas från dem. Sammantaget bekräftar vi empiriskt att det med mycket liten och potentiellt oprecis övervakning är möjligt att på ett tillförlitligt sätt lära sig olika representationer.
På senare tid visar REF fördelarna med att lägga till begränsad övervakning till att lära sig olika presentationer i VAE.
Disentangling Factors of Variation Using Few Labels
{'venue': 'Eighth International Conference on Learning Representations - ICLR 2020', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}