Robust semantisk märkning av bildregioner är ett grundläggande problem när det gäller att representera och hämta bildhideoinnehåll. Vi föreslår ett SVM-MRF-ramverk för modellfunktioner och deras rumsliga fördelningar, vilket leder till en "semantisk" representation. Eigenfeatures av Gabor wavelet funktioner och Gaussian blandning modell används för funktion kluster. Eftersom liknande vektorer i ett kluster kan komma från flera olika semantiska klasser, används SVM för att representera betingade vektorfördelningar inom varje kluster, och ett slumpmässigt fält i Markov används för att modellera de rumsliga distributionerna av semantiska etiketter. En semantisk layoutrepresentation föreslås för att beskriva bildernas semantik. Experiment visar att denna metod kan förbättra semantisk märkning och är användbar i likhetssökning. Att beskriva bildinnehåll med semantiska etiketter är ett utmanande problem. Semantisk representation spelar en viktig roll för analys och hämtning av bildvideoinnehåll. Det är svårt för människor att hämta rådata eller kommentera imageshideos manuellt. Automatiserad semantisk analys är nödvändig för effektiv bildhideo hämtning och gruvdrift [IO]. Utmaningen i semantisk märkning är att det kan finnas en stor variation i utseendet inom samma klass. Stödvektormaskin (SVM) [4] har använts i stor utsträckning för modellering av komplexa funktionsfördelningar i högdimensionella utrymmen. På samma sätt har Markovs slumpmässiga fältmodell (MRF) visat sig vara användbar i bildanalys [3, 6, 8,12]. Trots deras effektivitet är dock en enkel SVM- eller MRF-modell otillräcklig för att representera den stora variationen av visuella egenskaper inom en semantisk klass. I detta dokument föreslås en ny kombination av MRF och SVM för den semantiska analysen och representationen av innehållet i flygbilder. Dokumentets viktigaste bidrag är ramverket SVM-MRF för klusterering och klassificering. En tillfällig girig algoritm föreslås för optimering. Platserna för MRF är block av pixlar, som var och en beskrivs med en visuell funktionsdeskriptor. Den rumsliga fördelningen av semantiketiketter för varje bild kan betraktas som ett slumpmässigt fält i Markov (MRF). Analysfasen innebär därför automatisk identifiering av semantiska klasser i en given bild och är ett trestegsförfarande. Det första steget är att samla funktionerna i bildblocken med hjälp av Gaussian blandningsmodell (GMM) [2]. GMM används för att modellera huvudkomponenterna i de ursprungliga vektorerna. Varje Gaussian representerar ett kluster i denna modell. Detta kan förbättra klusterbildningen om antalet kluster inte är stort. Eftersom liknande vektorer i ett kluster kan komma från flera olika semantiska klasser, är det andra steget tillämpningen av de "en-mot-andra" SVM för att klassificera bildblocken i kandidatsemantiska klasser inom varje kluster. I det tredje steget används en kombination av SVM och MRF-modellen för att förfina klassificeringen. Semantiska layouter baserade på dessa etiketter genereras sedan för likhetssökning. Tidningen är organiserad enligt följande. I avsnitt 2 beskrivs användningen av GMM och SVM för modellering av funktionsdistributioner. Avsnitt 3 fokuserar på modellen SVM-MRF för identifiering av semantiska klasser i en given bild. I avsnitt 4 diskuteras tillämpningen av detta tillvägagångssätt för hämtning av likheter. Experimentella resultat presenteras i Avsnitt 5 och vi avslutar med en diskussion i Avsnitt 6. För att känna igen semantiken hos bildblock, är det nödvändigt att beskriva blocken med hjälp av en visuell funktion och leam de statistiska egenskaperna hos dessa funktioner med tanke på deras semantiska ursprung. Funktionen som används i våra experiment är härledd från den homogena texturbeskrivningen av MPEG-7. 2-D-frekvensplanet delas upp i 24 kanaler med Gaborfilter (6 riktningar på 4 skalor) [9]. Medelvärdet för texturenergin i varje kanal beräknas, vilket resulterar i en 24-dimensionell vektor. För att förenkla beräkningen föreslår vi att funktionerna klassificeras i flera kluster före den semantiska klassificeringen. På grund av icke-linjäriteten kan varje kluster 0-7803-7750-8/03/$I7.00 02003 IEEE
REF föreslog ett SVM-MRF-ramverk för modellfunktioner och deras rumsliga fördelningar (SVM tillämpas för att representera betingade vektorfördelningar inom varje kluster, och MRF används för att modellera de rumsliga distributionerna av semantiska etiketter).
A semantic representation for image retrieval
{'venue': 'Proceedings 2003 International Conference on Image Processing (Cat. No.03CH37429)', 'journal': 'Proceedings 2003 International Conference on Image Processing (Cat. No.03CH37429)', 'mag_field_of_study': ['Computer Science']}