Abstrakt. Automatisk bild annotation syftar till att förutsäga en uppsättning textetiketter för en bild som beskriver dess semantik. Dessa är vanligtvis tagna från en anteckning vokabulär med några hundra etiketter. På grund av det stora ordförrådet finns det en stor variation i antalet bilder som motsvarar olika etiketter ("klass-obalans"). På grund av begränsningarna i den manuella anmärkningen är dessutom ett betydande antal tillgängliga bilder inte kommenterade med alla relevanta etiketter ("svag märkning"). Dessa två frågor påverkar dåligt prestandan hos de flesta av de befintliga bildanmärkningsmodellerna. I detta arbete föreslår vi 2PKN, en tvåstegs variant av den klassiska grannalgoritmen K-nearest, som tar upp dessa två frågor i bildanmärkningsuppgiften. Det första steget i 2PKN använder "bild-till-märkning" likheter, medan det andra steget använder "bild-till-bild" likheter, vilket kombinerar fördelarna med båda. Eftersom prestandan hos närmaste granne baserade metoder i hög grad beror på hur funktioner jämförs, föreslår vi också en metrisk inlärning ram över 2PKNN som lär sig vikter för flera funktioner samt avstånd tillsammans. Detta görs i en stor marginal set-up genom att generalisera en välkänd (single-label) klassificering metriska inlärningsalgoritm för multi-label förutsägelse. För skalbarhet genomför vi den genom att växla mellan stokastisk nedstigning och projektionssteg. Omfattande experiment visar att även om konceptuellt enkla, 2PKN ensam utför jämförbara med den nuvarande state-of-the-art på tre utmanande bild annotation dataset, och visar betydande förbättringar efter metrisk inlärning.
REF föreslår en tvåstegs variant av K-nearest granne strategi, där det första steget är att lära sig bild-till-märkning likheter och det andra är att lära bild-till-bild likheter.
Image annotation using metric learning in semantic neighbourhoods
{'venue': 'In ECCV', 'journal': None, 'mag_field_of_study': ['Computer Science']}