Många av de befintliga metoderna för att lära gemensamma inbäddning av bilder och text använder endast övervakad information från parade bilder och dess textattribut. Genom att dra nytta av den senaste tidens framgång med oövervakat lärande i djupa neurala nätverk föreslår vi en end-to-end-ram för lärande som kan extrahera mer robusta multimodala representationer över olika områden. Den föreslagna metoden kombinerar modeller för representationsinlärning (dvs. auto-encoders) tillsammans med korsdomänska inlärningskriterier (dvs. maximal genomsnittlig diskrepansförlust) för att lära sig gemensamma inbäddningar för semantiska och visuella funktioner. En ny teknik för oövervakade data anpassning inference introduceras för att konstruera mer omfattande inbäddningar för både märkta och omärkta data. Vi utvärderar vår metod på djur med attribut och Caltech-UCSD Birds 200-2011 dataset med ett brett spektrum av applikationer, inklusive noll och få bilder igenkänning och hämtning, från induktiva till transduktiva inställningar. Empiriskt visar vi att vårt ramverk förbättras i förhållande till den nuvarande tekniska utvecklingen när det gäller många av de aktuella uppgifterna.
ReViSE REF använder autokodare för att härleda inbäddningar för bilder och ord som gör att de kan utnyttja omärkta data.
Learning Robust Visual-Semantic Embeddings
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}