Biblioteken har traditionellt använt manual image annotation för indexering och senare hämta sina bildsamlingar. Dock är manuell bild annotering en dyr och arbetsintensiv procedur och därför har det funnits stort intresse för att komma med automatiska sätt att hämta bilder baserat på innehåll. Här föreslår vi ett automatiskt tillvägagångssätt för att kommentera och hämta bilder baserat på en utbildning uppsättning bilder. Vi antar att regioner i en bild kan beskrivas med hjälp av en liten vokabulär av blobs. Blobs genereras från bildfunktioner med hjälp av kluster. Med tanke på en utbildning uppsättning bilder med kommentarer, visar vi att probabilistiska modeller tillåter oss att förutsäga sannolikheten för att generera ett ord med tanke på blobs i en bild. Detta kan användas för att automatiskt kommentera och hämta bilder som ges ett ord som en fråga. Vi visar att relevans modeller. Låt oss härleda dessa sannolikheter på ett naturligt sätt. Experiment visar att noteringen prestanda för denna cross-media relevans modell är nästan sex gånger så bra (i termer av genomsnittlig precision) än en modell baserad på word-blob co-occurence modell och dubbelt så bra som en toppmodern modell som härrör från maskinöversättning. Vårt tillvägagångssätt visar nyttan av att använda formella modeller för informationssökning för uppgiften av bild annotering och hämtning.
Den tvärmediarelevansmodell som beskrivs i REF bygger också på en kvantifierad blob bildrepresentation.
Automatic image annotation and retrieval using cross-media relevance models
{'venue': "SIGIR '03", 'journal': None, 'mag_field_of_study': ['Computer Science']}