Noll-shot bildklassificering med hjälp av hjälpinformation, såsom attribut som beskriver diskriminerande objektegenskaper, kräver tidskrävande annotering av domänexperter. Vi föreslår istället en metod som bygger på mänsklig blick som hjälpinformation och utnyttjar att även icke-expertanvändare har en naturlig förmåga att bedöma klassmedlemskap. Vi presenterar ett datainsamlingsparadigm som innebär en diskrimineringsuppgift för att öka det informationsinnehåll som erhålls från blickdata. Vår metod extraherar särskiljande deskriptorer från data och lär sig en kompatibilitetsfunktion mellan bild och blick med hjälp av tre nya blickinbäddningar: Gaze Histograms (GH), Gaze Features with Grid (GFG) och Gaze Features with Sequence (GFS). Vi introducerar två nya look-annoterade dataset för finkornig bildklassificering och visar att mänskliga blickdata verkligen är klassdiskriminativa, ger ett konkurrenskraftigt alternativ till expertannoterade attribut, och överträffar andra baslinjer för noll-shot bildklassificering.
Nyligen valde REF ett annat tillvägagångssätt och lärda klassinbäddningar med hjälp av mänskliga ögonspår som visar att människans blick är klassspecifik.
Gaze Embeddings for Zero-Shot Image Classification
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}