Sammanfattning Detta dokument fokuserar på integrering av multimodala funktioner för analys av sportvideostruktur. Metoden bygger på en statistisk modell som tar hänsyn till både skottinnehåll och interleaving av skott. Denna stokastiska modellering utförs inom det globala ramverket av Hidden Markov Models (HMMs) som effektivt kan tillämpas för att slå samman ljud och visuella signaler. Vårt tillvägagångssätt är validerat inom den specifika domänen tennisvideor. Modellen integrerar tidigare information om tennisinnehåll och redigeringsregler. Den grundläggande temporalenheten är videoinspelningen. Visuella funktioner används för att karakterisera typen av bildvy. Ljudfunktioner beskriver ljudhändelserna inom en videobild. Två uppsättningar ljudfunktioner används i denna studie: den första extraheras från en manuell segmentering av ljudspåret och är mer tillförlitlig. Den andra tillhandahålls genom en automatisk segmentering och klassificeringsprocess. Som ett resultat av den totala HMM processen, typiska tennisscener samtidigt segmenteras och identifieras. Experimenten illustrerar förbättringen av HMM-baserad fusion över indexering med endast de bästa enskilda medierna, när båda medierna är av liknande kvalitet.
Hidden Markov modeller används i REF för tennis video strukturering, beroende på tidigare information om tennis video innehåll och produktionsregler.
Audiovisual integration for tennis broadcast structuring
{'venue': 'Multimedia Tools and Applications', 'journal': 'Multimedia Tools and Applications', 'mag_field_of_study': ['Computer Science']}