Figur 1: Vår end-to-end-metod återmålar en given ingångsrörelse (översta raden), till nya tecken med olika benlängder och proportioner, (mellan- och nedersta raden). Målpersonerna ses aldrig utföra inmatningsrörelsen under träningen. Vi föreslår en återkommande neural nätverk arkitektur med en Forward Kinematics lager och cykelkonsistens baserad motstående utbildning mål för oövervakad rörelse retargeting. Vårt nätverk fångar de höga egenskaperna hos en ingångsrörelse av det främre kinematiska skiktet, och anpassar dem till en målkaraktär med olika skelettbenslängder (t.ex. kortare, längre armar etc.). Samla ihop parade rörelse träningssekvenser från olika tecken är dyrt. Istället använder vårt nätverk cykelkonsistens för att lära sig att lösa Inverse Kinematics problem på ett oövervakat sätt. Vår metod fungerar online, d.v.s. den anpassar rörelsesekvensen on-the-fly när nya ramar tas emot. I våra experiment använder vi Mixamo animationsdata 1 för att testa vår metod för en mängd olika rörelser och tecken och uppnå toppmoderna resultat. Vi visar också rörelse retargeting från monokulära mänskliga videor till 3D tecken med hjälp av en off-the-shelf 3D pose estimator.
Villegas et al. REF använde ett återkommande neuralt nätverk för rörelseåterhämtning.
Neural Kinematic Networks for Unsupervised Motion Retargetting
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}