Abstrakt. Sketch-baserad bildsökning (SBIR) är uppgiften att hämta bilder från en naturlig bilddatabas som motsvarar en given handritad skiss. Helst bör en SBIR-modell lära sig att associera komponenter i skissen (säg, fötter, svans, etc.) med motsvarande komponenter i bilden med liknande formegenskaper. Dagens utvärderingsmetoder fokuserar dock bara på grovkornig utvärdering där fokus ligger på att hämta bilder som tillhör samma klass som skissen men inte nödvändigtvis har samma formegenskaper som i skissen. Som ett resultat, befintliga metoder lära sig helt enkelt att associera skisser med klasser som ses under träning och därmed misslyckas med att generalisera till osynliga klasser. I detta dokument föreslår vi ett nytt riktmärke för nollresultat SBIR där modellen utvärderas på nya klasser som inte ses under utbildningen. Vi visar genom omfattande experiment att befintliga modeller för SBIR som är utbildade i en diskriminerande miljö lär sig endast klassspecifika kartläggningar och misslyckas med att generalisera till den föreslagna noll-shot-inställningen. För att kringgå detta föreslår vi en generativ strategi för SBIR-uppgiften genom att föreslå djupa villkorliga generativa modeller som tar skissen som en ingång och fyller den saknade informationen stokastiskt. Experiment på detta nya riktmärke skapat från "Sketchy" dataset, som är en storskalig databas av skiss-fotopar visar att prestanda av dessa generativa modeller är betydligt bättre än flera state-of-the-art metoder i den föreslagna noll-shot ram av grovkornig SBIR-uppgift.
REF föreslog en generativ modell för ZS-SBIR baserad på CVAE-arkitekturen.
A Zero-Shot Framework for Sketch-based Image Retrieval
{'venue': 'ECCV', 'journal': None, 'mag_field_of_study': ['Computer Science']}