Ett naturligt alternativ för att fråga i ett bildsökningssystem är att helt enkelt rita vad man har i åtanke. Att teckna var i själva verket det primitiva sättet att kommunicera mellan människor. Ett av målen med en bildsökning scenario är att ge användarna en enkel modalitet för att fråga. Därmed innebär en ritning en enkel handritad skiss som endast består av drag som användarna enkelt kan göra, saknar färg eller struktur. Exempel på handritade skisser visas i figur 1. Denna fråga modalitet leder till skissbaserad bildsökning problem (SBIR) som är ett utmanande problem på grund av två huvudsakliga skäl: (i) bilder som vi vill hämta är inte skisser, (ii) frågeskisser visar viss nivå av tvetydighet av naturen som kan göra en metod blir förvirrad lätt. Följaktligen uppvisar SBIR:s toppmoderna metoder [2, 4] fortfarande låga prestanda. Därför, med några idéer om den mänskliga visuella perceptionen, presenterar vi en ny metod för skissbaserad bildsökning. Vår metod, är baserad på att upptäcka förekomsten av mid-level mönster på en skiss. I detta syfte räknar vi ut en uppsättning mönster (lärda keyshapes) genom en oövervakad inlärningsprocess. Vi bygger sedan ett histogram som räknar förekomsten av mönster i den underliggande skissen. Histogrammet är byggt med hjälp av soft-voting, rumslig uppdelning och kvadratrot normalisering. Vi visar nya toppmoderna resultat i två tillgängliga datauppsättningar som fördubblar precisionen som uppnås med nuvarande metoder. Vårt förslag består av två steg (figur 2 ): (1) räkna ut en uppsättning av keyshapes, (2) generera LKS deskriptorer baserat på den upptäckta uppsättningen av keyshapes, som kommer att användas senare för likhetssökning.
I REF föreslogs en ny metod för att beskriva handritade skisser genom att upptäcka inlärda keyshapes (LKS).
Sketch based Image Retrieval using Learned KeyShapes (LKS).
{'venue': 'BMVC', 'journal': None, 'mag_field_of_study': ['Computer Science']}