Sammanfattning Det semantiska gapproblemet, som kan kallas bortkopplingen mellan multimediadata på låg nivå och semantik på hög nivå, är ett viktigt hinder för att bygga verkliga multimediasystem. De nyligen utvecklade metoderna som kan använda stora volymer löst märkta data för att tillhandahålla lösningar för automatisk bild annotering står som lovande metoder för att lösa detta problem. I detta dokument är vi intresserade av hur vissa av dessa metoder kan tillämpas på semantiska gap problem som visas i andra tillämpningsområden bortom bild annotation. Speciellt introducerar vi nya problem som visas i videor, såsom länkning av tangentramar med talutskrift text och länkning av ansikten med namn. Inom en gemensam ram formulerar vi dessa problem som problemet med att hitta felkorrespondenser mellan visuella och semantiska data och tillämpa multimediaöversättningsmetoden. Vi utvärderar multimediaöversättningsmetodens prestanda på dessa problem och jämför dess prestanda med andra autoannotationer och klassificeringsbaserade metoder. Experimenten, som utförs på över 300 timmar av nyhetsvideor från TRECVid 2004 och TRECVid 2006 corpora, visar att multimediaöversättningsmetoden ger en prestanda som är jämförbar med de andra autoannoteringsmetoderna och överlägsen prestanda jämfört med andra klassificeringsbaserade metoder.
I arbetet inom Ref föreslås en ram för att lösa de brister som finns mellan multimediadata på låg nivå och semantik på hög nivå.
Multimedia translation for linking visual data to semantics in videos
{'venue': 'Machine Vision and Applications', 'journal': 'Machine Vision and Applications', 'mag_field_of_study': ['Computer Science']}