Zero-shot hashing (ZSH) syftar till att lära sig en hashing modell som utbildas endast av fall från synliga kategorier men kan generera väl till dem av osynliga kategorier. Vanligtvis uppnås det genom att använda en semantisk inbäddning utrymme för att överföra kunskap från sett domän till osynlig domän. Befintliga insatser är främst inriktade på enkel-modal hämtning, särskilt bildbaserad hämtning (IBIR). Som ett särskilt forskningsämne inom hashing är dock cross-modal hämtning vanligare i tillämpningar i verkligheten. För att ta itu med hämtningsuppgiften cross-modal ZSH (CMZSH) föreslår vi ett nytt attributstyrt nätverk (AgNet), som kan utföra inte bara IBIR utan även textbaserad hämtning av bilder (TBIR). I synnerhet anpassar AgNet olika modal data till ett semantiskt rikt attribut utrymme, som överbryggar gapet som orsakas av modalitet heterogenitet och noll-shot inställning. Vi utformar också en effektiv strategi som utnyttjar attributet för att styra generering av hashkoder för bild och text inom samma nätverk. Omfattande experimentella resultat på tre referensdatamängder (AwA, SUN och ImageNet) visar AgNets överlägsenhet när det gäller både cross-modal och enmodal nollbildssökning. Index Terms-Attribute, cross-modal hashing (CMH), bildsökning, noll-shot hashing (ZSH), noll-shot lärande (ZSL).
AgNet REF är den första (så vitt vi vet) multimodala noll-shot hashmetoden, som anpassar olika modalitetsdata i ett semantiskt berikat attribututrymme, och använder attributet vektorer för att styra generering av hashkoder för bild- och textmetoder inom samma nätverk.
Attribute-Guided Network for Cross-Modal Zero-Shot Hashing
{'venue': 'IEEE Transactions on Neural Networks and Learning Systems', 'journal': 'IEEE Transactions on Neural Networks and Learning Systems', 'mag_field_of_study': ['Computer Science', 'Medicine']}