Det finns flera olika tillvägagångssätt för videosökning som varierar i sofistikering, och i graden av deras spridning. Vissa är välkända, andra är ännu inte inom räckhåll för någon form av stora volymer av video. I synnerhet är objektbaserad videosökning, där ett föremål från en video används för hämtning, ofta särskilt önskvärd ur en sökares perspektiv. I detta papper introducerar vi FÍSCHLÁR-SIMPSONS, ett system som ger hämtning från ett arkiv av video med hjälp av någon kombination av textsökning, tangentbord bildmatchning, skott-nivå surfning, samt objektbaserad hämtning. Systemet drivs av användarens feedback och interaktion snarare än att ha den konventionella sök/browse/sökmetaforen och syftet med systemet är att undersöka hur användare kan använda upptäckta objekt i ett skott som en del av en hämtningsuppgift. Nuvarande metoder för innehållsbaserad hämtning av video kan i stort delas in i de som stöder textmatchning mot dialog, bildmatchning mot tangentramar eller som detekterar konceptfunktioner för att filtrera bilder. Denna observation grundar sig på den årliga TRECVid-övningen [4] som under vart och ett av de senaste fyra åren har visat hur effektiva videosökningsuppgifterna är på en delad videokorpus med hjälp av ett mätbaserat tillvägagångssätt. Under 2004 deltog över 30 forskargrupper i denna hämtningsövning, så de olika tillvägagångssätten i TRECVid utgör en bred forskning inom området. Den första metoden för videosökning, textmatchning, matchar en användares textfråga mot text som erhållits från video, t.ex. från slutna bildtexter eller från erkänt tal, eller från video OCR. Konventionella textbaserade metoder för insamling av information kan användas och termer som viktningsmetoder som BM25 eller IDF har tillämpats med framgång [4]. Textbaserad videosökning fungerar bra där fokus för sökningen är det objekt som diskuteras i videon, men när fokus för sökningen är själva det visuella innehållet så är den andra metoden för videosökning, bildmatchning, mer lämplig. Den enklaste typen av bildmatchning använder bildfunktioner på låg nivå såsom global eller lokal färg, textur, kanter eller former [5]. I video hämtning, en enda nyckelframe brukar väljas som den representativa bilden för ett skott och ofta är det mitten ram från ett skott som väljs. Med detta tillvägagångssätt är det inte förvånande att matchning en användares frågebild(er) mot nyckelramar med låg nivå funktioner kan vara framgångsrik endast om användarens information behov kan fångas i en stillbild och nyckelramen är genuint representativ för skottet. Söker efter skott av en "raket uppskjutning" till exempel, med en frågebild som består av en flamma av lågor som kommer från en raket mot en blå himmel bakgrund kommer att vara visuellt liknar tangentframes tas från raketuppskjutning film, så det finns också fall när denna inställning till hämtning fungerar bra. Den automatiska upptäckten av semantiska begrepp i video representerar en tredje metod för videosökning. Detta innebär att manuellt kommentera en stor corpus av skott som antingen har eller inte har funktionen "X" och sedan använda en maskin lärande algoritm för att bygga en automatisk klassificerare för detta. Exempel på sådana egenskaper som används i TRECVid [4] är "inomhus", "utomhus", "byggnader", etc. Byggkonceptfunktionsdetektorer är en svår uppgift eftersom definitionen av en uppsättning koncept som är tillräckligt bred för att täcka ett stort utbud av informationsbehov men ändå är diskriminativ nog för att vara användbar vid användarsökning är en öppen fråga och uppgiften att märka tillräckligt positiva och negativa exempel på ett koncept och sedan lära sig en klassificering är något som kräver mycket ansträngning. Ändå, om en konceptfunktionsdetektor finns tillgänglig och har applicerats på en corpus av video med en hög nivå av noggrannhet då kan det säkert vara användbart i en användares sökning. Problemet är att det bara finns ett litet antal sådana klassificeringar byggda och många har en nivå av noggrannhet som är mindre än vad som krävs för tillförlitlig video hämtning. Med en rad sökmetoder tillgängliga för video hämtning, och varje fungerar bäst endast på vissa typer av 0-7803-
I denna mening är det enklaste sättet att representera videoramar genom låg nivå bildfunktioner, såsom färger, texturer, regioner eller kanter REF.
Video retrieval using dialogue, keyframe similarity and video objects
{'venue': 'IEEE International Conference on Image Processing 2005', 'journal': 'IEEE International Conference on Image Processing 2005', 'mag_field_of_study': ['Computer Science']}