Abstract-Det är välkänt att tidig integration (även kallad datafusion) är effektiv när metoderna är korrelerade, och sen integration (även kallad beslut eller åsikt fusion) är optimal när villkoren är okorrelerade. I detta dokument föreslår vi en ny multimodal fusionsstrategi för öppen identifikation av högtalare med hjälp av en kombination av tidig och sen integration efter kanonisk korrelationsanalys (CCA) av tal- och läppstrukturfunktioner. Vi föreslår också en metod för hög precision synkronisering av tal- och läppfunktioner med hjälp av CCA före den föreslagna fusionen. Experimentella resultat visar att i) den föreslagna fusionsstrategin ger den bästa samma felfrekvensen (EER), som används för att kvantifiera fusionsstrategins prestanda för öppen identifikation av högtalare, och ii) exakt synkronisering före fusion förbättrar EER, vilket innebär att den bästa EER uppnås när det föreslagna synkroniseringssystemet används tillsammans med den föreslagna fusionsstrategin. Vi noterar att den föreslagna fusionsstrategin överträffar andra eftersom de funktioner som används i den sena integrationen verkligen är okorrelerade, eftersom de är resultatet av CCA-analysen.
I REF används CCA för att koppla samman funktioner från tal- och läppstruktur/rörelse till audiovisuell funktionssynkronisering som underlättar högtalaridentifiering.
Audiovisual Synchronization and Fusion Using Canonical Correlation Analysis
{'venue': 'IEEE Transactions on Multimedia', 'journal': 'IEEE Transactions on Multimedia', 'mag_field_of_study': ['Computer Science']}