....................................... Vår modell kodar och avkodar tillsammans geometri och bildberoende utseende till en latent kod z, från data som fångas från en multi-camera rigg, vilket möjliggör mycket realistiska data-driven ansiktsåtergivning. Vi använder denna rika data för att driva våra avatarer från kameror monterade på en huvudmonterad display (HMD). Vi gör detta genom att skapa syntetiska HMD-bilder genom bildbaserad rendering, och med hjälp av en annan variationell autoencoder för att lära sig en gemensam representation y av verkliga och syntetiska HMD-bilder. Vi går sedan tillbaka från y till latent rendering kod z och avkoda till mesh och textur för att rendera. Vår metod möjliggör social interaktion med hög trohet i den virtuella verkligheten. Vi introducerar en djup utseende modell för att återge det mänskliga ansiktet. Inspirerad av Active Appearance Models utvecklar vi en datadriven renderingspipeline som lär sig en gemensam representation av ansiktsgeometri och utseende från en multiview capture setup. Vertex positioner och vyspecifika texturer modelleras med hjälp av en djup variationsfri autoenkoder som fångar komplexa icke-linjära effekter samtidigt som den ger en jämn och kompakt latent representation. Visa-specifik textur möjliggör modellering av vy-beroende effekter såsom specularity. Dessutom kan det också korrigera för ofullständig geometri som härrör från partiska eller låga upplösningsuppskattningar. Detta är en betydande avvikelse från den traditionella grafik pipeline, som kräver mycket exakt geometri samt alla delar av skuggning modellen för att uppnå realism genom fysiskt inspirerade lätta transporter. Att förvärva en sådan hög grad av noggrannhet är svårt i praktiken, särskilt för komplexa och invecklade delar av ansiktet, Författarens adresser: Stephen Lombardi, Facebook Reality Labs, Pittsburgh, PA, stephen. lombardi@fb.com; Jason Saragih, Facebook Reality Labs, Pittsburgh, PA, jason.saragih@ fb.com; Tomas Simon, Facebook Reality Labs, Pittsburgh, PA, tomas.simon@fb.com; Yaser Sheikh, Facebook Reality Labs, Pittsburgh, PA, yaser.sheikh@fb.com. Tillstånd att göra digitala eller papperskopior av delar eller allt detta arbete för personligt bruk eller klassrum beviljas utan avgift, förutsatt att kopiorna inte görs eller distribueras för vinst eller kommersiella fördelar och att kopiorna är försedda med detta meddelande och den fullständiga hänvisningen på första sidan. Upphovsrätt till tredje parts delar av detta arbete måste hedras. För all annan användning, kontakta ägaren/författarna. såsom ögonfransar och munhålan. Dessa hanteras naturligt av vår strategi, som inte bygger på exakta uppskattningar av geometri. I stället tar den skuggande modellen hänsyn till brister i geometrin, även om den flexibilitet som erbjuds av det nervnät som används. Vid inference tid, vi villkorar avkodningsnätet på synvinkeln av kameran för att generera lämplig textur för rendering. Det resulterande systemet kan implementeras enkelt med hjälp av befintliga renderingsmotorer genom dynamiska texturer med platt belysning. Denna representation, tillsammans med en ny oövervakad teknik för att kartlägga bilder till ansiktstillstånd, resulterar i ett system som är naturligt anpassat till interaktiva inställningar i realtid såsom Virtual Reality (VR).
Djuputseende Modeller REF lär sig dynamiska vyberoende texturkartor för det mänskliga huvudet.
Deep Appearance Models for Face Rendering
{'venue': 'ACM Transactions on Graphics (SIGGRAPH 2018) 37, 4, Article 68', 'journal': None, 'mag_field_of_study': ['Computer Science']}