Lärande av Transformation-Equivariant Representations (TERs), som introduceras av Hinton et al. [16], har ansetts som en princip för att avslöja visuella strukturer under olika omvandlingar. Den innehåller de berömda Convolutional Neural Networks (CNN) som ett specialfall som endast motsvarar översättningarna. Däremot försöker vi utbilda TER för en generisk klass av transformationer och utbilda dem på ett oövervakat sätt. I detta syfte presenterar vi en ny principbaserad metod genom Autoencoding Variational Transformations (AVT), jämfört med den konventionella metoden för autoencoding data. Formellt, givet transformerade bilder, försöker AVT utbilda nätverken genom att maximera den ömsesidiga informationen mellan omvandlingar och representationer. Detta säkerställer att de resulterande TERs av enskilda bilder innehåller den inneboende informationen om deras visuella strukturer som skulle likformigt under olika omvandlingar. Tekniskt sett visar vi att det resulterande optimeringsproblemet effektivt kan lösas genom att maximera en variationsrik lägre bindning av den ömsesidiga informationen. Detta variabla tillvägagångssätt introducerar en transformationsdekoder för att approximera den intractable posterior av transformationer, vilket resulterar i en autoencoding arkitektur med ett par av representationen kodare och transformation dekoder. Experiment visar den föreslagna AVT-modellen sätter ett nytt rekord för prestationerna på oövervakade uppgifter, vilket i hög grad minskar prestandagapet för de övervakade modellerna.
Detta arbete utökas senare i REF genom att införa en variationsavkodare för transformation, där AET-modellen utbildas ur ett informationsteoretiskt perspektiv genom att maximera den lägre gränsen för ömsesidig information.
AVT: Unsupervised Learning of Transformation Equivariant Representations by Autoencoding Variational Transformations
{'venue': 'in Proceedings of International Conference in Computer Vision (ICCV 2019), Seoul, Kore, Oct. 27 -- Nov. 2, 2019', 'journal': None, 'mag_field_of_study': ['Computer Science']}