Vi introducerar musikdriven videomontage, ett mediaformat som erbjuder ett trevligt sätt att bläddra eller sammanfatta videoklipp som samlats från olika tillfällen, inklusive sammankomster och äventyr. I musikdrivna videomontage driver musiken sammansättningen av videoinnehållet. Enligt musikaliska rörelser och beat är videoklipp organiserade för att bilda ett montage som visuellt speglar musikens erfarenhetsmässiga egenskaper. Det krävs dock ett enormt manuellt arbete och konstnärligt kunnande för att skapa det. I den här artikeln utvecklar vi ett ramverk för att automatiskt generera musikdrivna videomontager. Ingången är en uppsättning videoklipp och en bit bakgrundsmusik. Genom att analysera musik och videoinnehåll extraherar vårt system noggrant tidsbundna funktioner från inmatningen, och kastar syntesproblemet som en optimering och löser parametrarna genom Markov Chain Monte Carlo provtagning. Utgången är en videomontage vars visuella aktiviteter skärs och synkroniseras med musikens rytm, vilket gör en symfoni av audiovisuell resonans.
Slutligen, REF utforskade skapa ljuddrivna video montages.
audeosynth: music-driven video montage
{'venue': 'TOGS', 'journal': None, 'mag_field_of_study': ['Computer Science']}