Detta papper presenterar en modell för hämtning av bilder från en stor World Wide Web-baserad samling. I stället för att överväga komplexa visuella igenkänningsalgoritmer bygger modellen på att kombinera bevis på textinnehåll och hypertextstruktur på webben. Tidningen visar att vissa typer av frågor väl betjänas av denna form av representation. Den presenterar också ett nytt sätt att samla in relevanta domar. Inledning, Det har varit lite utnyttjande eller testning av dessa tekniker på Worki Wide Web (eller Web). Detta papper utnyttjar den länkade naturen av webben för att ge tillgång till bilder baserat på en befintlig modell som utvecklats för bildsökning från andra hypermedia samlingar. Papperet utvecklar initialt modellen för hämtning och presenterar sedan resultaten av en serie experiment med en stor webbaserad samling. Dunlop [Dunlop 91] införde en modell för hämtning av dokument i sammanhang (enligt definitionen i en hypermedia/hypertext) när innehållsbaserad hämtning inte var möjlig (t.ex. för icke-textuella noder). Hypermedia länkar används för att beräkna en approximation till innehållet i en icke-textuell nod genom att använda chtstering tekniker; denna approximation, eller representation, behandlas sedan som dokumentets innehåll för användning av hämtningssystemet. Detta avsnitt ger en översikt över denna modell, beskriver hur den utvidgas till att fungera med webbaserade samlingar och beskriver de viktigaste begränsningarna i modellen. I en hypermedia samling, länkar kan användas för att beräkna representationer för icke-textuella noder som tillåter direkt hämtning av dessa noder genom textförfrågan. De textnoder som är kopplade till en icke-textuell nodvagn anses utgöra ett kluster, se figur 1, Klusterbeskrivningstekniker kan sedan användas, för att beräkna en representation och fastställa det totala innehållet i dokumenten Tillstånd att göra digitala kopior av allt eller en del av detta material för personligt bruk eller clamsroom används utan avgift, förutsatt att kopiorna inte görs eller distribueras för vinst eller kommersiell fördel, upphovsrättsmeddelandet, titeln på publikationen och dess datumappem. rmd meddelas att upphovsrätt är genom pemlission oftfre ACM, Inc. Att kopiera annars, bildar klustret. Denna representation kan därefter tilldelas den icke-textuella noden, vilket ger den ett hämtningsinnehåll som motsvarar det kombinerade innehållet i noderna som är anslutna till den. Representationen av en icke-textuell nod kan beräknas genom att man betraktar varje länkat dokument L som en standard-N-dimensionell vektor, där N är antalet indextermer i dokumentbasen. Centroiden i N-dimensionella utrymmet av de punkter som representerar dokumenten i klustret kan sedan beräknas med följande formel [Dunlop 93]: Formeln definierar en nivå en cutoff, där endast de omedelbara grannarna till en icke-textuell nod i hypermedia nätverket beaktas. Sådana noder sägs vara anslutna till den icke-textuella noden genom ett steg fink. För att testa metodens giltighet utfördes två experiment med hjälp av CACM-samlingen [Dunlop 93] som innehåller textdokument med hänvisningsinformation som i själva verket bildar en hypertextstruktur mellan vissa av dokumenten. Försöken beräknade initialt representationen av varje dokument genom traditionell statistisk analys av orden i dokumentet och sedan en andra representation för varje dokument baserat på klustertekniken med hjälp av texten i dokument som citeras och citeras av det. Det första försöket visade att den klusterteknik tilldelade representationer var betydligt närmare de ursprungliga representationerna än representationer baserade på slumpmässigt genererade citeringar (23~0 likhet jämfört med 4%). Det andra försöket visade att citeringsbaserade kluster representationer gav cirka 70% av hämtningseffektiviteten för att direkt indexera varje rekord innehåll. Dessa resultat bekräftade att dessa representationer är av lämplig kvalitet för användning i hämtning (särskilt när ingen innehållsinformation finns tillgänglig). Senare presenterade Savoy [Savoy 96] resultat som visade att CACM-samlingens citeringsstruktur kunde användas för att förbättra hämtningen av textnoder genom att delvis inkludera text från länkade dokument. Även om resultaten från dessa experiment är uppmuntrande, trots att de var baserade på en pseudo-hypertext nätverk, Det kan hävdas att citeringar och länkar i en hypermedia dokumentbas delar vissa egenskaper. Till exempel är de båda resultatet av en viss bedömning av dokumentens överensstämmelse, och det finns ingen enhetlig definition av förhållandet mellan de två sammankopplade noderna. Men citering länkar utgör bara en typ av länk som kan ses i reaf hypermedia, andra typer är t.ex. strukturella, relationella, etc. I avsnitt 2.2 diskuteras en webbspecifik version av algoritmerna som de experiment som presenteras i detta dokument bygger på. Den algoritm som beskrivs ovan kan utvidgas så att hänsyn inte bara tas till de omedelbara grannarna till en nod i hypermedia nätverket, men också alla noder som kan nås från noden genom att följa högst två Iinks (en hvo sfep länk), och därmed överväga mer av sammanhanget för noden (t.ex. för att inkludera alla textdokument som visas i figur 2. Detta resulterar i följande nivå Modellen som beskrivs ovan förutsätter ett hypermedianätverk, som kommer att ge text- och icke-textuella sammankopplade noder. Dunlop har redan implementerat denna modell med hjälp av en hypermediaversion av British Highway Code. Hans experiment inriktades på evakuering av modellens verktyg i kombination med surfning, snarare än på dess hämtning effektivitet. I detta dokument undersöks användningen av modellen på webben. Det finns två viktiga skäl som stöder detta beslut: q The Web är ett verkligt hypermedia nätverk, och för närvarande den onfy hypermedia struktur som används av miljontals användare; q dess mångfald i information, variation av media, och komplexitet i sammankopplingar gör det till en idealisk testbädd för att kontrollera giltigheten av modellen. Med tanke på en hypermedia samling som består av text- och icke-textuella noder sammankopplade via länkar, de steg som krävs för att förse de icke-textuella noderna med en representation är följande: För det första identifieras alla icke-textuella noder i samlingen; för var och en av dessa icke-textuella noder identifieras också alla textnoder som är inbäddade i dem, med hjälp av en och två stegslänkar (noder som nås från den cucrent noden via en eller två hypertextlänkar respektive y). Innehållet i dessa noder används för att bilda en ny nod, vilket är representationen av icke-textuaf noden; slutligen indexeras insamlingen av representationer med hjälp av standard lR-tekniker (inklusive regenererande, stoppa ordremo~al, och termvägning). Med detta index kan de dokument som motsvarar de icke-textuella noderna hämtas på samma sätt som alla standardtextdokument. [t är uppgiften för hämtningssystemets gränssnitt för att associera de dokument som hämtas med deras motsvarande icke-textuella noder och presentera dem för användaren. Även om modellen är utformad för att vara tillräckligt allmän för att den ska kunna tillämpas på alla typer av medier (t.ex. bilder, ljud och video), koncentreras detta papper på bilder av två skäl: q webben har ett överflöd av bilder, och därmed, skapa en bildsamling skulle k relativt okomplicerat och resultaten skulle vara av utbredd tillämplighet; q för det andra, fokusera på en enda media undviker eventuella prestandaskillnader mellan medier som stör resultaten. Det första steget i indexeringen av en webbsamling är att identifiera dokumenten i samlingen och deras länkar. En web crawler/robot/Cheong 95] användes för att skanna en uppsättning bildsamlingar och lagra, för varje bild, texten på sidor länkade till den bilden via ett och två steg länkar. Därefter måste man utveckla ett tillvägagångssätt för att extrahera texten från noder för att skapa lämpliga representationer. Under denna utveckling av modellen som presenterades tidigare för webbanvändning blev två specifika frågor rörande webbstrukturen uppenbara: vissa textbitar inom en sida kan vara viktigare för indexering än andra, och vissa bilder som hämtas av en enkel tillämpning av modellen är sannolikt inte giltiga sökresultat. Följande underavsnitt behandlar dessa webbspecialiseringar av Dunlop-modellen (anges i avsnitt 2.1). En webbsida är resultatet av att visa konst HTML-dokument med hjälp av en webbläsare och vanligtvis består av formaterad text, bilder, ifyllningsformulär, tabIes, ankare till andra delar av tbe samma dokument, och länkar till andra HTML-dokument]. Bilder refereras på en sida via en URL-länk och visas på ett av två sätt: antingen som inIine bilder som visas på sidan, eller via en länk till en bildfil. I det inledande skedet av modellens genomförande fattades ett beslut om att dela upp texten till en sida i oberoende sektioner beroende på dess position i fråga om URL-länken till konstbilden. Text i anslutning till länken ansågs utgöra en mer exakt representation än texten på hela sidan, eftersom det vanligtvis är praxis att en bild förklaras kort med en bildtext. Dessutom finns det ett extra avsnitt definierat: den fullständiga texten till alla sidor anslutna via två steg länkar till bilden eller bildfilen: i thjs exempel, texten till alla dokument länkade till sidan i figur 3. Dela upp dokumenttexter enligt dessa definitioner ger, för var och en av bilderna i samlingen, ett textdokument som består av de fyra avsnitt som beskrivs, vilket ger en ren textsamling som representerar de bilder som refereras i webbsamlingen. Denna hypotes om textsegmentering och kvaliteten på automatiska segmenteringssystem krävde testning tillsammans med huvudhypotesen om representationsmetoden. För att uppnå detta indexerades samlingen och matchades med frågor med hjälp av SMART V11.0 [Buckley 85] med de resultat som presenteras i avsnitt 3.3. Det är oftast så att de bilder som refereras på en sida är semantiskt relaterade till textinnehållet i denna~arte. med undantag~f funktionella bilder (se figur 4 visa ~ xamples navigeringsknappar, används för att hjälpa användaren att navigera till nästa, föregående eller hemsida, eller till och med till toppen eller botten av samma sida; ikoner som används för att förbättra presentationen av sidan och / eller göra det mer läsbar. Även funktionella bilder används för att ge strukturell och navigeringsinformation till läsaren, det finns inget direkt sätt att förhindra ett system från att hämta dessa bilder som relevant för en fråga som HTML inte skiljer dem från andra bilder. Det beslutades dock att ett sätt bör hittas för att eliminera, eller åtminstone minska möjligheten att dessa bilder hämtas, eftersom det är osannolikt att de är de legitima resultaten av en användares sökning, En ledtråd är att dessa bilder tenderar att länkas med fler sidor än icke-funktionsfria bilder, eftersom dessa bilder vanligtvis navigering eller läsbarhet förbättring bilder som kan hittas på många sidor. Eftersom den uppsättning sidor som bildar en samling är en del av ett specifikt nätverk, är det dessutom högst sannolikt att samma bilder delas av dessa sidor, främst av presentationsskäl enhetlighet. Figur 5 & 6 visar antalet bilder (uttryckt i procent) som har ett visst antal länkar till dem. Mätningar gjordes över ett antal webbplatser för cirka 2.500 bilder. Av dessa siffror kan man se att funktionella bilder alltid är kopplade till av mer än två sidor, och nästan hälften av dem är kopplade till av mer än fem. Icke-funktionella bilder, är länkade till genom endast en sida över 9W0 av tiden. 1. Vad är det för fel på dig? En detaljerad beskrivning av HTML-språket och finns i december och Ginsburg [december 95]. Antal bilder (%) 50. Det här är 25. No of Imks Ett rimligt sätt, därför, att minska möjligheten att funktionella bilder hämtas, var att väga dem omvänt till antalet sidor som länkar till dem och låta systemet hämta dem, men med en låg relevans poäng. Tillämpningen av denna viktningsfunktion på bilderna som hämtats befanns driva de flesta av de funktionella bilderna ner rankningslistan utan att väsentligt påverka positionen för andra bilder. Dunlop presenterar några iimi[ationer av hans modell som främst är kopplade till kvaliteten och mängden av rhe länkar som finns i en viss dokumentbas. Han begränsar sin modell till dokumentbaser som har "ett remonerbart förhållande av indexerbar (dvs. textual) till noder som inte kan indexeras" och rekommenderar minst två länkar per bild. Dessutom, modellen honetirs t'rom ett ökat antal länkar (så länge antalet noder som används för att beräkna en kluster representant förblir en liten delmängd av samlingen) men verkar degradera smidigt (så länge vissa länkar finns tillgängliga). Konsekvenserna av de låga länknivåer som visas i figur 5 behandlas i avsnitt 3, som han såg. Dessa imitvtions påverkade valet av Wch platser till usc för experiment, En annan begränsning uttryckt av Dunlop införs av quafity av länkarna. Om länkarna är till mycket liknande noder, kommer representationerna mer exakt beskriva innehållet i kluster. Omvänt, om länkarna är att förlora] y relaterade noder, då kluster representativa beräkningar kommer att ge en mindre korrekt beskrivning av den icke-textuella noden, och därmed re (nevaI effektivitet kommer att minska. Detta översätts helt klart direkt till webbaserade samlingar och wiII är en kritisk faktor i de experimentella resultat som presenteras i detta dokument. Nyligen började några av de kommersiella sökmotorerna för webbsökning, som Lycos /f,ycos) och Hotbot [Mtomi), att stödja bildsökning med hjälp av en form av textbaserad representation. Förmodligen av kommersiella skäl, är det inte möjligt att hitta hur dessa representationer genererades eller hur effektiva hämtningsmetoderna var. En kort undersökning gjordes för att upptäcka den allmänna formen av de framställningar som användes. Detta gjordes genom suhmisslon av frågor till dessa system och undersökningen av sidorna hämtas. Av undersökningen verkar det som om Lycos representerar bilder med en liten mängd text, ofta bara några få ord. Denna representation verkar kraftigt begränsa utbudet av bilder som hämtas för en particu Iar fråga. Hotbots återgivning av en bild på en webbsida är all text på den sidan. Man tror att det inte finns någon ytterligare sofistikering av denna representation, men inom ramen för undersökningen var det inte möjligt att fastställa detta för vissa ~. Omgivningen av HTML-text delas upp i sektioner, även om de definitioner som används skiljer sig från dem som beskrivs i avsnitt 2.2.1. Det verkar som om inga försök har gjorts för att mäta systemets återhämtningseffektivitet. Istället har de flesta ansträngningar gjorts för att bygga och testa bildanalysteknikerna: För att utvärdera effektiviteten i ett IR-system baserat på tbe Dunlop-modellen skapades en testsamling. Sparck Jones och Van Rijsbergen [Sparck Jones 76/ föreslår att den idealiska kollektionen ska: q vara stor, d.v.s. innehåller inte mindre än 2 000 dokument (i vissa fall kan till och med 10.000 dokument behövas), medan frågor bör vara mer än 250; q uppvisar å ena sidan sort med avseende på innehåll, typ, källa, etc., och å andra sidan homogenitet.. 2. Denna undersökning genomfördes i början av 1997, det är naturligtvis möjligt att de metoder som används av dessa sökmotorer senare har förändrats. I detta avsnitt beskrivs processen för att bygga samlingen och sedan resultaten av olika experiment med samlingen. För det andra är dessa platser oftast befolkade av många bilder (deras antal varierar från 100 till 1500), och därför skulle målet att skapa en samling av inte mindre än 2 000 dokument kunna nås utan att samlingen fragmenteras i alltför många oberoende undersamlingar. De flesta av dessa webbplatser har stora delar av texten i samband med bilderna, antingen på samma sida, eller i neighbounng sidor, därför kan varje bild vara tillräckligt representerad i termer av den modell som utvecklats i Avsnitt 2, slutligen, det förväntades att det skulle vara ganska lätt att hitta ämnen "med lämplig kunskap och intresse att fråga en konstrelaterad samling. Bildsamlingen skapades ut sidorna av sju orelaterade webbplatser för konstgallerier, som innehåller konst från renässansen till 2@-talet. Totalt, samlingen bestod av 2.583 bilder och 6.5Mb HTML-text, Urvalet av webbplatser baserades på tre kriterier som gemensamt härrörde från kriterierna Sparck Jones och Van Rijsbergen och de begränsningar som uttrycktes av Dunlop: q q q var och en av dem bör innehålla mer än 100 bilder; överlappningen av bilder mellan samlingarna bör vara minimal; de bör ha en omfattande hypertext struktur, därför samlingar som innehåller ett stort antal bilder på bara en eller två sidor, uteslöts. Dessa kriterier inför uppenbarligen en partiskhet i samlingen när det gäller "normala" webbplatser, det ansågs att detta var motiverat eftersom huvudsyftet med experimenten var att visa om representationen av bilder som använder denna modell skulle fungera alls eller inte. Den andra uppgiften när det gäller att skapa en testsamling var att sammanställa frågorna och identifiera alla bilder som är relevanta för varje fråga. Frågor ställdes av fyra personer två doktorander i konsthistoria och två studenter inom andra discipliner, men med intresse för konst och en bred kunskap om konstrelaterade ämnen. De fyra informerades om typen av samling och vilken typ av bilder den innehöll (dvs. den typ av konstnärliga rörelser som undersamlingarna omfattade), och sedan ombads att ställa frågor som de faktiskt skulle underkasta sig ett system för insamling, om de hade ett verkligt informationsbehov i samband med samlingens innehåll. De frågor som erhölls på detta sätt behandlades sedan, så att de först inte hade samma ämne, och för det andra var de inte tydligt ur sitt sammanhang. Denna process gav en uppsättning av 14 frågor, som visas i F@re 7. Det är onekligen så att storleken på frågeprovet är liten och långt ifrån uppfyller kraven för en idealisk provsamling. Men som redan nämnts var syftet med detta arbete att fastställa giltigheten av Dunlop modellen för thk typ av samling, i syfte att genomföra mer detaljerade experiment senare. Det beslutades därför att antalet queri& var tillfredsställande för dessa ursprungliga syften. Relevansbedömningarna för varje fråga gjordes av den fsrson som genererade den frågan. I stället för att manuellt bedöma alla bilder i samlingen för relevans användes webbplatsens struktur för att vägleda bedömaren i valet av en deluppsättning bilder att bedöma. Till exempel, om en fråga handlade om den tidiga renässansen, då utvärderaren skulle leta efter relevanta bilder i sidor som var klassificerade under endast denna eller liknande titlar. Det beslutades att denna målinriktning var giltig eftersom skapandet av hypertextstrukturen inom webbplatserna hade inneburit manuella beslut om var i denna struktur bilder ska placeras. Dessa beslut var i själva verket en form av bedömning av bildernas relevans i förhållande till de kategorier som ingår i strukturen. Genom att fokusera på potentiellt relevanta bilder minskades den tid det tog att göra bedömningar av relevansen avsevärt. Det är uppenbart att detta utnyttjande av webbplatsernas struktur endast skulle vara till nytta för frågor som återspeglade klassificeringarna i strukturerna. Lyckligtvis var detta fallet för de frågor som genererades för dessa experiment. Relevansbedömarna identifierade totalt 307 relevanta bilder för de 14 frågorna, i genomsnitt 22 bilder per fråga. Som beskrivs i avsnitt 2.  Ini[ial experimentet innebar att man mätte IR-systemets hämtningseffektivitet i fyra olika konfigurationer: varje gång använde man bara ett av de identifierade textavsnitten isolerat. En graf som visar resultaten av detta experiment visas i figur 8. Som kan Genom dessa experiment, Det noterades att RP siffror var någonewha[ ovanligt jämfört med andra [R experiment, Det är i allmänhet fallet att en RP graf visar en monotont minskande linje. I dessa experiment minskar linjerna mindre än vad som kan förväntas och ökar ibland vid högre återkallningsnivåer. Man tror att det finns två skäl till detta. R/P-grafen från en individuell fråga är oftast en ojämn linje helt olik den som härleds från resultaten av ett stort antal frågor. På grund av det lilla antalet frågor som genereras för denna samling, tbe ojämnhet enskilda frågor kanske inte har genomsnitt ut. Vid analys av R / P siffror av enskilda frågor, fann man att för många av frågorna alla relevanta bilder hämtades nära toppen av dokumentet ranking. Med andra ord, för [R-systemet, samlingen innehöll ett stort antal enkla frågor, Det är denna aspekt av frågorna som förklarar "flatness" i R & graferna. Det enda sättet att ändra denna situation, kommer att vara att generera fler frågor för samlingen. Trots dessa farhågor, men man tror att de resultat som presenteras här ger en bra indikation på den relativa nyttan (i termer av hämtning effektivitet) av de olika textavsnitt som används för att representera bilderna, Tbe frågor som används i hämtning effektivitet experiment var alla berörda konstnärer eller konst rörelser, och från experimenten verkar det som om representationen av bilderna fungerade bra för dessa frågor. Några ytterligare ad hoc-tester utfördes för att undersöka vilka andra typer av frågor som bäst kunde betjänas av denna representation. De som fungerade bra var följande: q q frågor för bilder som innehåller vissa objekt, till exempel bilder som innehåller ett berg; eller äpple, frukt, och en tabell (se figur 10); frågor för typer av bilder såsom en gatuscen eller en fortfarande hfe;. frågor om de ytliga aspekterna av bilder, till exempel bilder av en viss storlek eller sådana som innehåller en mängd av en viss färg. I detta dokument användes en befintlig hämtningsmodell (från /Dunlop 93) för att representera bilder med sin omgivande text på en samling av 'art gallery'-webbplatser. Denna modells hämtningseffekt mättes genom att man konstruerade en testsamling på cirka 2 500 bilder. Ett bidrag till detta arbete var användningen av en teknik för att underlätta processen för att samla relevanta bedömningar: denna traditionellt tidskrävande process påskyndades avsevärt genom att utnyttja den befintliga hypertextstrukturen på webbplatser för att rikta in sig på områden på de webbplatser som kan innehålla bilder som är relevanta för en förfrågan. Det viktigaste bidraget från detta arbete var att genom experiment visa att Dunlopmodellen kunde användas som ett effektivt sätt att representera bilder för ett antal frågetyper. Detta trots att den text som användes i representationen inte uttryckligen skrevs för hämtningsändamål. Representationen av en bild bestod av sektioner som vart och ett hade tilldelats en vikt som tydde på den delens betydelse i en hämtning. Genom experiment visade det sig att hämtningseffektiviteten kunde förbättras genom viktning av bildrubriken och det tvåstegsavsnittet. [i framtida arbete för detta projekt, är det planerat att samlingen kommer att utökas och en mer varierande uppsättning frågor genereras. Dunlop föreslog också ett antal tillägg till sin modell och dessa skulle kunna undersökas. En möjlig undersökningsväg skulle vara att beakta länkarnas riktning vid beräkningen av representationen, till exempel när det gäller hi-directive länkar, länkar i en riktning kan ignoreras, länkar från och till noden kan betraktas som lika, eller den ena riktningen av länkar kan vägas över den andra. Syftet med detta arbete är slutligen att integrera de textbaserade representationer som används här med innehållsbaserade representationer. Till exempel det senaste arbetet med Fleck, Forsyth och Bregfer [Fleck 96], vars hämtningssystem anafyserar innehållet i bilder för att lokalisera bilder av människor i ett visst tillstånd. Genom att integrera de två representationssystemen i ett enda hämtningssystem skulle man hoppas att ett bredare urval av frågetyper skulle kunna stödjas och att hämtningen från dessa frågor skulle vara mer exakt. Arbetet med denna avhandling utfördes av Vassilis Harmarrdas som partiell uppfyllelse av hans M. SC. i avancerade informationssystem (AIS) vid Institutionen för datavetenskap vid University of Glasgow. Det finansierades av Alexander S. Onassis Public Benefit Foundation. Övervakning av projektet var av Mark Sanderson och Mark Dunlon Tack är Evi Athanasekou, Kallio~i Koundouri. Irene "Marinos. och Nina paDadoukiki vars relevan~e bedömningar och frågor gjorde experimenten möjligt. Ursprunglig hänvisning till den nationella lagstiftningen: Den nationella lagstiftningens innehåll: De åtgärder som föreskrivs i denna förordning är förenliga med yttrandet från ständiga kommittén för växter, djur, livsmedel och foder.
I "Image Retrieval by Hypertext links" av REF, länkar används för att spåra tillbaka källsidor på bilden container sidan.
Image retrieval by hypertext links
{'venue': "SIGIR '97", 'journal': None, 'mag_field_of_study': ['Computer Science']}