Vi föreslår en enkel och effektiv metod för att utnyttja syntetiska bilder när du tränar ett Deep Network för att förutsäga en 3D pose från en bild. Förmågan att använda syntetiska bilder för att träna ett Deep Network är mycket värdefull eftersom det är lätt att skapa ett praktiskt taget oändligt träningsset gjort av sådana bilder, samtidigt som fånga och kommentera riktiga bilder kan vara mycket tungrodd. Men syntetiska bilder liknar inte riktiga bilder exakt, och att använda dem för utbildning kan resultera i suboptimal prestanda. Det visades nyligen att för exemplarbaserade metoder är det möjligt att lära sig en kartläggning från exemplar representationer av verkliga bilder till exemplar representationer av syntetiska bilder. I detta dokument visar vi att detta tillvägagångssätt är mer allmänt, och att ett nätverk kan också tillämpas efter kartläggningen för att härleda en 3D pose: Vid körtid, med tanke på en verklig bild av målobjektet, vi först beräkna funktionerna för bilden, mappa dem till funktionen utrymme syntetiska bilder, och slutligen använda de resulterande funktioner som indata till ett annat nätverk som förutspår 3D pose. Eftersom detta nätverk kan utbildas mycket effektivt genom att använda syntetiska bilder, fungerar det mycket bra i praktiken, och slutsatsen är snabbare och mer exakt än med ett exemplar-baserat tillvägagångssätt. Vi demonstrerar vår strategi på LINEMOD dataset för 3D objekt pos estimering från färgbilder, och NYU dataset för 3D hand utgör estimering från djupkartor. Vi visar att det gör det möjligt för oss att överträffa toppmoderna på båda datauppsättningarna.
Rad och Al. REF lär sig funktionen kartläggning från verkliga till syntetiska dataset och under inference överföra funktioner i verkliga bilder till syntetiska och infer pose med hjälp av syntetiska funktioner.
Feature Mapping for Learning Fast and Accurate 3D Pose Inference from Synthetic Images
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}