Avgörande för framgången med träningen är att det finns omfattande datauppsättningar som täcker olika kameraperspektiv, former och posevariationer. Det är dock svårt att samla in sådana kommenterade dataset. Vi föreslår att man kompletterar befintliga databaser genom att skapa nya databasposter. Nyckelidén är att syntetisera data i skelettet utrymme (i stället för att göra det i djup-karta utrymme) som möjliggör ett enkelt och intuitivt sätt att manipulera dataposter. Eftersom skelettet poster genereras på detta sätt inte har motsvarande djup karta poster, utnyttjar vi dem genom att träna en separat hand pose generator (HPG) som syntetiserar djupkartan från skelettet poster. Genom att träna HPG och HPE i en enda enhetlig optimering ram som säkerställer att 1) HPE överensstämmer med parade djup och skelett poster; och 2) HPG-HPE kombinationen uppfyller den cykliska konsistens (både ingång och utgång av HPG-HPE är skelett) observeras via de nygenererade oparade skelett, vår algoritm konstruerar en HPE som är robust för variationer som går utöver täckningen av den befintliga databasen. Vår träningsalgoritm antar den generativa kontraariala nätverk (GAN) utbildningsprocessen. Som en biprodukt får vi en hand pose discriminator (HPD) som är kapabel att plocka ut realistiska hand poser. Vår algoritm utnyttjar denna förmåga att förfina de första skelett uppskattningar i testning, ytterligare förbättra noggrannheten. Vi testar vår algoritm på fyra utmanande referensdataset (ICVL, MSRA, NYU och Big Hand 2.2M dataset) och visar att vår strategi överträffar eller är i nivå med state-of-the-art metoder kvantitativt och kvalitativt.
Baek et al:s arbete. REF syftade till att syntetisera data i skelettutrymmet.
Augmented Skeleton Space Transfer for Depth-Based Hand Pose Estimation
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}