Zero-shot learning (ZSL) modeller förlitar sig på att lära sig en gemensam inbäddning utrymme där både text/semantisk beskrivning av objekt klasser och visuell representation av objekt bilder kan projiceras för närmaste grannsökning. Trots framgången med djupa neurala nätverk som lär sig en end-toend modell mellan text och bilder i andra synproblem såsom bildtextning, mycket få djupa ZSL-modell finns och de visar liten fördel jämfört med ZSL-modeller som utnyttjar djupa funktioner representationer men inte lära sig en end-to-end inbäddning. I detta dokument hävdar vi att nyckeln till att få djupa ZSL-modeller att lyckas är att välja rätt inbäddningsutrymme. Istället för att inbädda i ett semantiskt rum eller ett mellanrum föreslår vi att det visuella utrymmet används som inbäddningsutrymme. Detta beror på att den närmaste grannsökningen i detta utrymme skulle drabbas mycket mindre av navighetsproblemet och därmed bli mer effektiv. Denna modellutformning ger också en naturlig mekanism för att flera semantiska metoder (t.ex. attribut och meningsbeskrivningar) ska sammansmältas och optimeras gemensamt på ett end-to-end-sätt. Omfattande experiment på fyra riktmärken visar att vår modell avsevärt överträffar de befintliga modellerna.
På samma sätt hävdar REF att det visuella utrymmet är mer diskriminerande än det semantiska utrymmet, och föreslår därför en sluten djup inbäddningsmodell som kartlägger semantiska funktioner i det visuella utrymmet.
Learning a Deep Embedding Model for Zero-Shot Learning
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}