Abstract-Multimodal strömmar av sensorisk information tolkas naturligt och integreras av människor med hjälp av signal-nivå funktionsextraktion och högre nivå kognitiva processer. Detektion av uppmärksamhetshöjande audiovisuella segment formuleras i detta arbete på grundval av solida modeller för ljud-, bild- och textinformation som förmedlas i en videoström. Aural eller auditiv saliency bedöms genom signaler som kvantifierar multifrekvent vågform modulering, extraheras genom icke-linjära operatörer och energispårning. Visuell salthalt mäts genom en spatiotemporal uppmärksamhet modell drivs av intensitet, färg, och orientering. Textmässig eller språklig soliditet utvinns från del-av-tal taggning på undertexter information tillgänglig med de flesta filmdistributioner. De individuella saltströmmarna, som erhålls från modalitetsberoende signaler, är integrerade i en multimodal saltkurva, där den sammansatta videoströmmens tidsvarierande perceptuella betydelse modelleras och som anger rådande sensoriska händelser. Den multimodala Saliency representationen utgör grunden för en generisk, bottom-up video summering algoritm. Olika fusionssystem utvärderas i en filmdatabas med multimodala betydelseanmärkningar med jämförande resultat som tillhandahålls i olika former. De sammanställda sammanfattningarna, baserade på lågnivåfunktioner och innehållsoberoende fusion och urval, är av subjektivt hög estetisk och informativ kvalitet.
REF upptäcker framträdande händelser i en film baserat på betydelsen av enskilda funktioner för aurala, visuella och språkliga representationer.
Multimodal Saliency and Fusion for Movie Summarization Based on Aural, Visual, and Textual Attention
{'venue': 'IEEE Transactions on Multimedia', 'journal': 'IEEE Transactions on Multimedia', 'mag_field_of_study': ['Computer Science']}