Y studenter och jag bygger intelligenta mjukvaruagenter-krawlers eller spindlar för att hitta information på World Wide Web. Bilder, bland de mest värdefulla Web-tillgångarna, gör webben till ett omfattande virtuellt bildbibliotek. Men att hitta bilder på webben för att matcha en fråga är ganska svårt: Typiskt bara en liten bråkdel av sidtext beskriver tillhörande bilder, och bilder är inte betitlade konsekvent. Innehållsbaserade bildsökningssystem som analyserar bilderna själva 1 fortskrider, men systemen kräver betydande bildbehandlingstid. Dessutom visar undersökningar av användare som gör bildsökning att användarna är mer intresserade av att identifiera objekt och åtgärder som avbildas av bilder än av den färg, form och andra visuella egenskaper som de flesta innehållsbaserade hämtningssystem tillhandahåller. 2 Eftersom information om objekt och åtgärder lättare erhålls från bildtexter, verkar bildtextbaserad hämtning vara det enda hoppet för i stort sett användbar bildsökning. 3 Kommersiella verktyg som AltaVista Image Search sökmotor uppnå respektabel precision (fraktionen av korrekta svar hämtas ut ur alla svar hämtas) genom att indexera endast "lätt" sidor, såsom fotografi bibliotek där bilder är en till en sida och bildtexter är lätta att identifiera. Kom ihåg (fraktionen av korrekta svar hämtade från alla korrekta svar) är lika eller viktigare än precision, men användare ofta inte inser hur liten det är för deras frågor. I experiment med 10 representativa fraser, med hjälp av sidor som hämtats av en traditionell sökordsbaserad Alta Vista sökning för att beräkna återkallande, hittade vi Alta Vista bildsökning hade en precision på 0.46 och minns av 0.10. Högre minne kräver att hantera ett stort utbud av layout format och stilar av bildtext. Det senaste arbetet har gjort viktiga framsteg när det gäller allmän bildindexering från webben genom intelligent informationsfiltrering av webbtext. [4] [5] [6] Genom att leta efter rätt ledtrådar kan stora mängder webbsidetext uteslutas som bildtexter för varje given bild, och bildtexterna i den återstående texten kan härledas. Clues kan inkludera textning kandidatformulering, HTML-konstruktioner runt kandidaten, avstånd från tillhörande bild, bild-fil namnord, och tillhörande bildegenskaper. Dessa ledtrådar minskar mängden text för att undersöka för att hitta texttexter, och den reducerade texten kan indexeras och användas för nyckelordsbaserad hämtning. Men hittills har valet av dessa ledtrådar varit intuitivt, och det har inte gjorts någon noggrann studie av de relativa värdena av ledtrådar. Denna artikel rapporterar om Marie-4 (se figur 1), vår senaste i en serie av bildåterhämtningssystem. 7 Marie-4 använder ett brett utbud av ledtrådar, bredare än något system vi känner till, för att lokalisera bild-caption par i HTML-webbsidor. Det är delvis ett expertsystem där den kunskap som används inte är särskilt ny i sig, men samverkan mellan en mängd olika kunskaper som arbetar tillsammans ger förvånansvärt goda resultat. Till skillnad från vissa bildtextbaserade hämtningssystem 3 och tidigare Marie-system, som kräver en bilddatabas med bildtexter som redan extraherats, Marie-4 är en webbklättrare som självständigt söker igenom webben, lokaliserar bildtexter med hjälp av intelligenta resonemang och indexerar dem. Det försöker inte full naturlig språkbehandling och kräver inte den detaljerade lexikoninformation av de tidigare prototyperna, så det är mer flexibelt.
År 2002 Neil C. Rowe, föreslog en intelligent agent Web crawler REF och bildtext filter, söker på webben för att hitta bildtexter och tillhörande bildobjekt.
Marie-4: A High-Recall, Self-Improving Web Crawler That Finds Images Using Captions
{'venue': 'IEEE Intell. Syst.', 'journal': 'IEEE Intell. Syst.', 'mag_field_of_study': ['Computer Science']}