Många tillvägagångssätt i generaliserade noll-shot lärande förlitar sig på tvärmodal kartläggning mellan bildfunktionsutrymmet och klassen inbäddning utrymme. Eftersom märkta bilder är dyra, är en riktning att öka datasetet genom att generera antingen bilder eller bildfunktioner. Men den förra missar finkorniga detaljer och den senare kräver att lära sig en kartläggning i samband med klassinbäddningar. I detta arbete tar vi funktionen generation ett steg längre och föreslår en modell där en delad latent utrymme av bildfunktioner och klass inbäddningar lärs av modalitet-specifika anpassade variationer autoencoders. Detta lämnar oss med nödvändig diskriminativ information om bilden och klasser i latenta funktioner, på vilken vi tränar en softmax klassificerare. Nyckeln till vår strategi är att vi anpassar distributionerna från bilder och från sidoinformation för att skapa latenta funktioner som innehåller viktig multimodal information i samband med osedda klasser. Vi utvärderar våra inlärda latenta funktioner på flera referensdataset, d.v.s. CUB, SUN, AWA1 och AWA2, och etablera en ny state of the art på generaliserade noll-shot samt på få-shot lärande. Dessutom visar våra resultat på ImageNet med olika noll-shot splits att våra latenta funktioner generaliserar väl i storskaliga inställningar.
REF använder Variational Autoencoders för att anpassa distributionerna från bilder och använda sidoinformation för att konstruera latenta funktioner som innehåller väsentlig multimodal information i samband med osedda klasser.
Generalized Zero- and Few-Shot Learning via Aligned Variational Autoencoders
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}