Den mänskliga handen rör sig på komplexa och högdimensionella sätt, vilket gör uppskattning av 3D hand utgör konfigurationer enbart från bilder en utmanande uppgift. I detta arbete föreslår vi en metod för att lära sig en statistisk handmodell som representeras av ett tvärmodalt tränat latent utrymme via ett generativt djupt neuralt nätverk. Vi härleder en objektiv funktion från den variationella nedre gränsen i VAE-ramverket och optimerar gemensamt det resulterande tvärmodala KLdivergence-målet och det bakre återuppbyggnadsmålet, vilket naturligt medger ett utbildningssystem som leder till ett sammanhängande latent utrymme över flera modaliteter såsom RGB-bilder, 2D-nyckelpunktsdetekteringar eller 3D-handkonfigurationer. Dessutom ger det ett enkelt sätt att använda semisupervision. Detta latenta utrymme kan direkt användas för att uppskatta 3D hand poser från RGB-avbildningar, överträffa state-of-the art i olika inställningar. Dessutom visar vi att vår föreslagna metod kan användas utan ändringar på djupbilder och fungerar jämförbart med specialiserade metoder. Slutligen är modellen helt generativ och kan syntetisera konsekventa par av handkonfigurationer över olika modaliteter. Vi utvärderar vår metod på både RGB och djupdataset och analyserar det latenta utrymmet kvalitativt.
En cross-modal variationsmodell härleder en variationell lägre bindning baserad på VAE, som kan användas för att lära sig ett delat latent utrymme mellan olika modaliteter REF.
Cross-Modal Deep Variational Hand Pose Estimation
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}