Talare diarization, även känd som "vem talade när?" uppgift, kan vara svårt att uppnå när det tillämpas på berättande filmer, där talare vanligtvis talar i ogynnsamma akustiska förhållanden: bakgrundsmusik, ljudeffekter, stora variationer i intonation kan dölja inter-peaker variabilitet och göra ljud-baserad högtalare diarization närmar sig fel benägna. Å andra sidan uppvisar sådana fiktiva filmer starka regler på bildnivå, särskilt inom dialogscener. I detta dokument, föreslår vi att utföra högtalare diarization inom dialog scener i TV-serien genom att kombinera ljud och video modaliteter: högtalare diarization utförs först genom att använda var och en av dessa modaliteter; de två resulterande partitioner av instansen som sedan optimalt matchas, innan de återstående fallen, som motsvarar fall av oenighet mellan modaliteterna, slutligen behandlas. De resultat som uppnås genom att tillämpa en sådan multimodal strategi för fiktiva filmer visar sig överträffa dem som uppnås genom att använda en enda metod.
REF presenterar en ny metod för högtalardiarisering av TV-serier som utnyttjar både ljud- och videodata.
Audiovisual speaker diarization of TV series
{'venue': '2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Apr 2015, Brisbane, Australia. 2015', 'journal': None, 'mag_field_of_study': ['Computer Science']}