Vi föreslår en metod för att lära sig latenta representationer av faktorerna för variation i data. Genom att öka de djupa autokodrarna med en övervakad kostnad och en extra oövervakad kostnad skapar vi en halvövervakad modell som kan upptäcka och explicit representera faktorer av variation utöver dem som är relevanta för kategorisering. Vi använder en ny oövervakad covariansstraff (XCov) för att reda ut faktorer som handstil för siffror och ämnesidentitet i ansikten. Vi demonstrerar detta i MNIST handskrivna sifferdatabas, Toronto Faces Database (TFD) och Multi-PIE dataset genom att generera manipulerade fall av data. Dessutom visar vi att dessa djupa nätverk kan extrapolera "dolda" variationer i den övervakade signalen med hjälp av Toronto Faces Database.
Cheung m.fl. REF lade till en kors-kovarians-påföljd i en halvövervakad autoenkoderarkitektur för att reda ut faktorer, som handskrivningsstil för siffror och ämnesidentitet i ansikten.
Discovering Hidden Factors of Variation in Deep Networks
{'venue': 'ICLR 2014', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Mathematics', 'Computer Science']}