Toppmoderna metoder för 3D-handuppskattning från djupbilder kräver stora mängder noterade träningsdata. Vi föreslår att modellera de statistiska sambanden av 3D handposer och motsvarande djupbilder med hjälp av två djupa generativa modeller med en delad latent utrymme. Genom design gör vår arkitektur det möjligt att lära sig av omärkta bilddata på ett halvövervakat sätt. Om man antar en en-till-en kartläggning mellan en pose och en djupkarta, kan varje given punkt i det delade latenta utrymmet projiceras in i både en hand pose och en motsvarande djupkarta. Regresserande handen pose kan sedan göras genom att lära sig en discriminator för att uppskatta den bakre av den latenta pose givet några djup karta. För att förbättra generaliseringen och bättre utnyttja omärkta djupkartor utbildar vi tillsammans en generator och en discriminator. Vid varje iteration uppdateras generatorn med den bakåtfördelade lutningen från discriminatorn för att syntetisera realistiska djupkartor av den artikulerade handen, medan discriminatorn drar nytta av en utökad utbildning uppsättning syntetiserade och omärkta prover. Den föreslagna discriminator-nätverksarkitekturen är mycket effektiv och körs på 90 på CPU med noggrannheter jämförbara eller bättre än toppmoderna på 3 allmänt tillgängliga riktmärken.
Wan m.fl. REF föreslog ett halvövervakat ramverk för lärande som använder HPG för att utnyttja de oparerade djupkartorna och lär sig ett latent utrymme som delas av handposer och djupkartor.
Crossing Nets: Dual Generative Models with a Shared Latent Space for Hand Pose Estimation.
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}