: Vi presenterar en strategi för realtid 3D handspårning från monokulära RGB-enbart ingång. Vår metod är kompatibel med okonstruerade videoingångar som communityvideor från YouTube (vänster) och robusta till ocklusioner (mitt-vänster). Vi visar resultat från 3D-handspårning i realtid med hjälp av en off-the-shelf RGB-webbkamera i okonstruerade inställningar (center-höger, höger). Vi tar itu med det mycket utmanande problemet med 3D-handspårning i realtid baserat på en monokulär RGB-endast sekvens. Vår spårningsmetod kombinerar ett konvolutionellt neuralt nätverk med en kinematisk 3D-handmodell, så att den generaliserar väl till osedda data, är robust till ocklusioner och varierande kameraperspektiv, och leder till anatomiskt rimliga såväl som temporalt smidiga handrörelser. För att utbilda vårt CNN föreslår vi en ny metod för syntetisk generering av utbildningsdata som bygger på ett geometriskt konsekvent nätverk för bild-till-bild-översättning. För att vara mer specifika använder vi ett neuralt nätverk som översätter syntetiska bilder till "riktiga" bilder, så att de så-genererade bilderna följer samma statistiska distribution som verkliga handbilder. För att träna detta översättningsnätverk kombinerar vi en kontradiktorisk förlust och en cykelkonsistensförlust med en geometrisk konsekvensförlust för att bevara geometriska egenskaper (t.ex. handpose) under översättningen. Vi visar att vårt handspårningssystem överträffar det nuvarande toppmoderna på utmanande RGB-bara bilder.
Nyligen, Mueller et al. REF utnyttjade en geometrisk konsekvensförlust för att bevara handen baserat på CycleGAN.
GANerated Hands for Real-Time 3D Hand Tracking from Monocular RGB
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}