Abstrakt. Med tanke på de ständigt växande tillgängliga multimediedata är det ett utmanande problem att automatiskt kommentera multimedieinnehåll med de känslor som förväntas uppstå hos användarna. För att lösa detta problem syftar det framväxande forskningsfältet för videoaffektiv analys till att utnyttja mänskliga känslor. Inom detta område där det ännu inte har uppstått någon dominerande funktionsrepresentation, är valet av diskriminerande funktioner för en effektiv representation av videosegment en nyckelfråga när det gäller att utforma algoritmer för videoaffektiv innehållsanalys. De flesta befintliga affektiva innehållsanalysmetoder använder antingen lågnivå-audiovisuella funktioner eller genererar handgjorda representationer på högre nivå baserat på dessa lågnivåfunktioner. I detta arbete föreslår vi att använda djupt lärande metoder, särskilt konvolutionella neurala nätverk (CNN), för att lära sig mellannivå representationer från automatiskt extraherade låg nivå funktioner. Vi utnyttjar ljud och visuella modalitet av videor genom att använda Mel-Frequency Cepstral Koefficienter (MFCC) och färgvärden i RGB utrymme för att bygga högre nivå ljud och visuella representationer. Vi använder de inlärda representationerna för den affektiva klassificeringen av musikvideoklipp. Vi väljer multi-klass stöd vektor maskiner (SVMs) för att klassificera videoklipp i fyra affektiva kategorier som representerar de fyra kvadranterna av Valence-Areousal (VA) utrymme. Resultat på en delmängd av DEAP-datasetet (på 76 musikvideoklipp) visar att en betydande förbättring uppnås när representationer på högre nivå används i stället för funktioner på låg nivå, för videoaffektiv innehållsanalys.
Acar m.fl. REF byggde mellannivå representationer från Mel-Frequency Cepstral Koefficienter och färgvärden med hjälp av konvolutionella neurala nätverk, avslöjar en förbättrad prestanda på affektiv klassificering av videoklipp.
Understanding Affective Content of Music Videos through Learned Representations
{'venue': 'MMM', 'journal': None, 'mag_field_of_study': ['Computer Science']}