Vissa bilder som är svåra att känna igen på egen hand kan bli tydligare i samband med ett område med relaterade bilder med liknande sociala nätverk metadata. Vi bygger vidare på denna intuition för att förbättra multietikett image annotation. Vår modell använder bildmetadata nonparametriskt för att generera kvarter av relaterade bilder med hjälp av Jaccard likheter, sedan använder ett djupt neuralt nätverk för att blanda visuell information från bilden och dess grannar. Tidigare arbete brukar modellera bildmetadata parametriskt; däremot gör vår icke-parametrisk behandling det möjligt för vår modell att prestera bra även när ordförrådet i metadata förändras mellan utbildning och testning. Vi utför omfattande experiment på NUS-WIDE-datasetet, där vi visar att vår modell överträffar toppmoderna metoder för multimärkning av bilder även när vår modell tvingas generalisera till nya typer av metadata.
Använda jaccard likheter, Johnson et al. använde flera icke-parametriska bildmetadata för att identifiera grannar till relaterade bilder följt av ett djupt neuralt nätverk för att kommentera bilder REF.
Love Thy Neighbors: Image Annotation by Exploiting Image Metadata
{'venue': '2015 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2015 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}