....................................... Vi presenterar den första markör-less metoden för tidssammanhängande prestanda fånga med bara monokulära video som ingång. Den rekonstruerade ytmodellen fångar den mänskliga kroppens fulla ledade rörelse samt medelskaliga icke-rigida deformationer av ytan. Vi presenterar den första markör-less metoden för tidssammanhängande 3D-prestanda fånga av en människa med allmänna kläder från monokulära video. Vårt tillvägagångssätt rekonstruerar artikulerade mänskliga skelettrörelser samt medelskaliga icke-rigida ytdeformationer i allmänna scener. Human performance capture är ett utmanande problem på grund av det stora utbudet av artikulation, potentiellt snabb rörelse, och betydande icke-rigid deformationer, även från multi-view data. Rekonstruktion från monokulära video ensam är drastiskt mer utmanande, eftersom starka ocklusioner och den inneboende djup tvetydighet leder till en mycket illa placerad rekonstruktion problem. Vi tar itu med dessa utmaningar genom ett nytt tillvägagångssätt som använder sparse 2D och 3D human pose upptäckter från ett konvolutionellt neuralt nätverk med hjälp av en batch-baserad pose uppskattningsstrategi. Gemensam återhämtning av per-batch rörelse gör att vi kan lösa tvetydigheter i monokulära återuppbyggnadsproblem baserat på en låg-dimensionell bana subrymd. Dessutom föreslår vi förfining av ytgeometrin baserad på helt automatiskt extraherade silhuetter för att möjliggöra medelstora icke-rigid anpassning. Vi demonstrerar toppmoderna prestanda fånga resultat som möjliggör spännande applikationer som videoredigering och fri utsiktsvideo, tidigare ogenomförbar från monokulära video. Vår kvalitativa och kvantitativa utvärdering visar att vår strategi avsevärt överträffar tidigare monokulära metoder när det gäller noggrannhet, robusthet och scenkomplexitet som kan hanteras.
Xu och al. REF rekonstruerar artikulerade mänskliga skelettrörelser samt medelskaliga icke-rigida ytdeformationer i allmänna scener.
MonoPerfCap: Human Performance Capture From Monocular Video
{'venue': 'TOGS', 'journal': None, 'mag_field_of_study': ['Computer Science']}