Påvisande av perceptuellt viktiga videohändelser formuleras här på grundval av saliency-modeller för ljud-, bild- och textinformation som förmedlas i en videoström. Ljudstyrka bedöms genom signaler som kvantifierar multifrekvent vågform modulering, extraheras genom icke-linjära operatörer och energispårning. Visuell salthalt mäts genom en spatiotemporal uppmärksamhet modell drivs av intensitet, färg och rörelse. Text saliency extraheras från del-av-tal taggning på undertexter information tillgänglig med de flesta filmdistributioner. De olika modalitetskurvorna är integrerade i en enda uppmärksamhetskurva, där förekomsten av en händelse kan vara signifikans i en eller flera domäner. Denna multimodala hållfasthetskurva är grunden för en nedifrån-och-upp-algoritm för videosammanfattning, som re nes resultat av unimodal eller audiovisuell-baserad skimming. Algoritmen utför gynnsamt för video summering i termer av informativhet och njutning.
I REF beskrivs också en metod för att upptäcka perceptuellt viktiga videohändelser, baserad på solida modeller för ljud-, bild- och textinformation.
Video event detection and summarization using audio, visual and text saliency
{'venue': '2009 IEEE International Conference on Acoustics, Speech and Signal Processing', 'journal': '2009 IEEE International Conference on Acoustics, Speech and Signal Processing', 'mag_field_of_study': ['Computer Science']}