Frihandsskissbaserad bildsökning (SBIR) är en specifik hämtningsuppgift för korsvyer, där frågor är abstrakta och tvetydiga skisser medan hämtningsdatabasen bildas med naturliga bilder. Arbetet inom detta område fokuserar främst på att extrahera representativa och delade funktioner för skisser och naturliga bilder. Dessa kan dock varken klara av den geometriska förvrängningen mellan skisser och bilder eller vara möjliga för storskaliga SBIR på grund av den tunga kontinuerliga avståndsberäkningen. I detta dokument påskyndar vi SBIR genom att införa en ny binär kodningsmetod, kallad Deep Sketch Hashing (DSH), där en semi-heterogen djup arkitektur föreslås och införlivas i en end-to-end binär kodning ram. Specifikt, tre konvolutionella neurala nätverk används för att koda fri-hand skisser, naturliga bilder och, särskilt, de extra skiss-tokens som antas som broar för att mildra skiss-bild geometrisk förvrängning. De lärda DSH-koderna kan effektivt fånga de korsvisa likheterna samt de inneboende semantiska korrelationerna mellan olika kategorier. Såvitt vi vet är DSH det första hasharbetet speciellt utformat för kategorinivå SBIR med en end-to-end djup arkitektur. Den föreslagna DSH utvärderas utförligt på två storskaliga datauppsättningar av TU-Berlin Extension och Sketchy, och experimenten visar konsekvent DSH:s överlägsna S-BIR-accuracies över flera toppmoderna metoder, samtidigt som man uppnår betydligt minskad hämtningstid och minnesavtryck.
Deep Sketch Hashing (DSH) REF föreslog en semi-heterogen djup arkitektur med hjälp av extra skiss-tokens.
Deep Sketch Hashing: Fast Free-Hand Sketch-Based Image Retrieval
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}