Zero-shot-igenkänning syftar till att exakt känna igen objekt av osynliga klasser genom att använda en delad visuell-semantisk kartläggning mellan bildens funktionsutrymme och det semantiska inbäddningsutrymmet. Denna kartläggning är inlärd på träningsdata från synliga klasser och förväntas ha överföringsförmåga till osedda klasser. I detta dokument tar vi itu med detta problem genom att utnyttja det inneboende förhållandet mellan det semantiska rymdgrenröret och överföringsförmågan hos visuell-semantisk kartläggning. Vi formaliserar deras anslutning och kastar noll-shot erkännande som ett gemensamt optimeringsproblem. Motiverade av detta föreslår vi en ny ram för noll-shot-igenkänning, som innehåller dubbla visuella-semantiska karteringsvägar. Vår analys visar att detta ramverk inte bara kan tillämpa tidigare semantisk kunskap för att härleda underliggande semantiskt grenrör i bildfunktionen utrymme, men också generera optimerad semantisk inbäddning utrymme, vilket kan förbättra överföringsförmågan av den visuella-semantiska kartläggningen till osynliga klasser. Den föreslagna metoden utvärderas för noll-shot-igenkänning på fyra referensdatauppsättningar, vilket ger enastående resultat.
Nyligen kan dubbla visuella-semantiska karteringsvägar REF fånga och förfina den semantiska rymdgrenrörsstrukturen (den kan beskrivas med likhetsmåttet) för att förbättra överföringsförmågan hos visuell-semantisk kartläggning för klassificering av osynliga klasser.
Zero-Shot Recognition Using Dual Visual-Semantic Mapping Paths
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}