Abstract-Vi föreslår en ny tvåstegsram för gemensam analys av huvudgesten och talprosody mönster av en talare mot automatisk realistisk syntes av huvudgester från talprosody. I den första fasens analys utför vi Hidden Markov Model (HMM)-baserade oövervakade temporal segmentering av huvudgesten och talprosody funktioner separat för att bestämma elementära huvudgesten och talprosody mönster, respektive för en viss talare. I det andra steget utförs en gemensam analys av korrelationer mellan dessa elementära huvudgester och prosodymönster med hjälp av multiströms HMM för att bestämma en audiovisuell kartmodell. Den resulterande audio-visuella karteringsmodellen används sedan för att syntetisera naturliga huvudgester från godtyckligt indatatesttal som ges en huvudmodell för högtalaren. I syntesstadiet används den audiovisuella karteringsmodellen för att förutsäga en sekvens av gestmönster från den prosody-mönstersekvens som beräknas för indatatesttalet. Eulervinklarna som är förknippade med varje gestmönster appliceras sedan för att animera högtalarhuvudmodellen. Objektiva och subjektiva utvärderingar visar att den föreslagna syntesen genom analysschemat ger talaren naturliga huvudgester med indatatesttal, liksom vid "prosody transplanterade" och "gesurtransplanterade" scenarier. Index Terms-Multimedia informationssystem, talanalys, ansikts- och gestigenkänning, mönsteranalys och igenkänning, animation.
Till exempel Sargin et al. utveckla ett ramverk för gemensam analys av prosody och huvudgester med hjälp av parallella gren HMM strukturer för att syntetisera prosody-drivna huvud gest animationer REF.
Analysis of Head Gesture and Prosody Patterns for Prosody-Driven Head-Gesture Animation
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Computer Science', 'Medicine']}