Toppmoderna metoder för visuellt erkännande utan bilder formulerar lärande som ett gemensamt inbäddande problem med bilder och sidoinformation. I dessa formuleringar är det nuvarande bästa komplementet till visuella funktioner attribut: manuellt kodade vektorer som beskriver delade egenskaper mellan kategorier. Trots god prestanda har attributen begränsningar: (1) finer-grained igenkänning kräver proportionellt fler attribut, och (2) attribut ger inte ett naturligt språkgränssnitt. Vi föreslår att övervinna dessa begränsningar genom att utbilda neurala språkmodeller från grunden; d.v.s. utan förträning och endast konsumerande ord och tecken. Våra föreslagna modeller tränar end-to-end för att anpassa sig till det finkorniga och kategorispecifika innehållet i bilder. Naturligt språk ger ett flexibelt och kompakt sätt att koda endast de framträdande visuella aspekterna för att särskilja kategorier. Genom att träna på rå text kan vår modell också dra slutsatser om rå text, vilket ger människor ett välbekant läge både för annotering och hämtning. Vår modell uppnår en stark prestanda på noll-sprängd textbaserad bildsökning och överträffar avsevärt det attributbaserade toppmoderna för noll-sprängd klassificering på datasetet Caltech-UCSD Birds 200-2011. & KDU & 11 511 J J J J J
Vi använder därför naturliga språkbeskrivningar samlade i REF som uppnådde överlägsen prestanda på noll-shot lärande jämfört med attribut.
Learning Deep Representations of Fine-Grained Visual Descriptions
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}