Abstract-Video fråga av semantiska sökord är en av de mest utmanande forskningsfrågor i video datahantering. För att gå bortom låg nivå likhet och tillgång till videodata innehåll av semantik, måste vi överbrygga klyftan mellan låg nivå representation och hög nivå semantik. Detta är ett svårt problem med multimediaförståelse. Vi formulerar detta problem som ett probabilistiskt mönsterigenkänningsproblem för att modellera semantik i termer av begrepp och sammanhang. För att kartlägga funktioner på låg nivå till semantik på hög nivå föreslår vi probabilistiska multimediaobjekt (multiobjekt). Exempel på multiobjekt i filmer är explosion, berg, strand, utomhus, musik, etc. Semantiska koncept i videor interagerar och visas i sitt sammanhang. För att modellera denna interaktion föreslår vi ett nätverk av multiobjekt (multinet). För att modellera multinet beräkning föreslår vi en faktor graf ram som kan genomdriva spatio-temporala begränsningar. Med hjälp av probabilistiska modeller för multiobjekt, stenar, himmel, snö, vatten-kropp, och skogsbruk / grönska, och med hjälp av en faktor graf som multinet, visar vi tillämpningen av detta ramverk för semantiska video indexering. Vi visar hur detektionsprestandan kan förbättras avsevärt med hjälp av multinätet för att ta hänsyn till interkonceptuella relationer. Våra experiment med hjälp av en stor videodatabas bestående av klipp från flera filmer och baserat på en uppsättning av fem semantiska koncept avslöjar en betydande förbättring i detektion prestanda med över 22%. Vi visar också hur multinätet utvidgas för att ta hänsyn till tidsmässig korrelation. Genom att bygga ett dynamiskt multinät visar vi att detektionsprestandan förbättras ytterligare med så mycket som 12%. Med detta ramverk visar vi hur nyckelordsbaserad fråge- och semantisk filtrering är möjlig för en förutbestämd uppsättning begrepp. Index Terms-Factor grafer, dolda Markov modeller, sannolikhet förhållande test, multimedia förståelse, probabilistiska grafiska nätverk, sannolikhetsförökning, fråga efter exempel, fråga efter nyckelord, ROC-kurvor, semantiska video indexering, summa-produkt algoritm.
Naphade m.fl. föreslå en faktor graf ram för inter-concept kontext analys REF.
A factor graph framework for semantic video indexing
{'venue': 'IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY', 'journal': None, 'mag_field_of_study': ['Computer Science']}