Djupa neurala nätverk tränas för klassificering har visat sig lära sig kraftfulla bildrepresentationer, som också ofta används för andra uppgifter som att jämföra bilder w.r.t. deras visuella likhet. Synlig likhet innebär dock inte semantisk likhet. För att lära sig semantiskt diskriminerande egenskaper föreslår vi att man kartlägger bilder på klassinbäddningar vars parvisa punktprodukter motsvarar ett mått på semantisk likhet mellan klasser. En sådan inbäddning förbättrar inte bara resultaten av bildsökningen, utan skulle också kunna underlätta integrationen av semantik för andra uppgifter, t.ex. upptäckt av nyheter eller inlärning med få bilder. Vi introducerar en deterministisk algoritm för att beräkna klassen centroider direkt baserat på tidigare världskunskap kodad i en hierarki av klasser som WordNet. Experiment på CIFAR-100, NABirds och ImageNet visar att våra lärda semantiska bildinbäddningar förbättrar den semantiska konsekvensen i bildsökningsresultaten med stor marginal.
I samband med innehållsbaserad bildsökning använde REF nyligen cosinusförlusten för att kartlägga bilder på semantiska klassinbäddningar som härrör från förkunskaper som kodats i en klasshierarki.
Hierarchy-based Image Embeddings for Semantic Image Retrieval
{'venue': '2019 IEEE Winter Conference on Applications of Computer Vision (WACV)', 'journal': None, 'mag_field_of_study': ['Computer Science']}