....................................... LookinBra hävstång senaste tidens framsteg i realtid 3D prestanda fånga och maskininlärning för att re-rendera högkvalitativa nya synpunkter på en fångad scen. En texturerad 3D-rekonstruktion görs först till en ny synvinkel. På grund av brister i geometri och låg upplösning struktur, 2D renderade bilden innehåller artefakter och är låg kvalitet. Därför föreslår vi en djupinlärningsteknik som tar dessa bilder som indata och genererar mer visuellt förbättrad re-rendering. Systemet är särskilt utformat för VR- och AR-headset och står för överensstämmelse mellan två stereovyer. Motiverad av augmented och virtual reality applikationer såsom telenärvaro, har det varit ett nyligen fokuserat i realtid prestanda fånga av människor under rörelse. Men, med tanke på realtidsbegränsningen, dessa system lider ofta av artefakter i geometri och textur såsom hål och buller i den slutliga rendering, dålig belysning, och låg upplösning texturer. Vi tar det nya tillvägagångssättet för att förstärka sådana realtidssystem för att fånga upp prestanda med en djup arkitektur som tar en rendering ur ett godtyckligt perspektiv, och gemensamt utför slutförande, superupplösning och denoisering av bilder i realtid. Vi kallar detta tillvägagångssätt neural (re-) rendering, och * Författare bidrog lika till detta arbete. Tillstånd att göra digitala eller papperskopior av delar eller allt detta arbete för personligt bruk eller klassrum beviljas utan avgift, förutsatt att kopiorna inte görs eller distribueras för vinst eller kommersiella fördelar och att kopiorna är försedda med detta meddelande och den fullständiga hänvisningen på första sidan. Upphovsrätt till tredje parts delar av detta arbete måste hedras. För all annan användning, kontakta ägaren/författarna. © 2018 Copyright som innehas av ägaren/författarna. 0730-0301/2018/11-ART255 https://doi.org/10.1145/3272127.3275099 vårt livesystem "LookinGood". Vår djupa arkitektur är tränad att producera högupplösta och högkvalitativa bilder från en grov rendering i realtid. För det första föreslår vi en självövervakad träningsmetod som inte kräver manuell marksanning. Vi bidrar med ett specialiserat rekonstruktionsfel som använder semantisk information för att fokusera på relevanta delar av ämnet, t.ex. Ansiktet. Vi inför också ett betydande omvägningssystem för förlustfunktionen som kan kasta ut avvikelser. Vi designar specifikt systemet för virtuella och förstärkta verklighetsheadset där konsekvensen mellan vänster och höger öga spelar en avgörande roll i den slutliga användarupplevelsen. Slutligen genererar vi temporalt stabila resultat genom att uttryckligen minimera skillnaden mellan två på varandra följande ramar. Vi testade det föreslagna systemet i två olika scenarier: en med en enda RGB-D-sensor, och överkroppsrekonstruktion av en aktör, den andra bestående av helkropp 360 • fånga. Genom omfattande experiment visar vi hur vårt system generaliseras över osynliga sekvenser och ämnen. Den kompletterande videon finns på http://youtu.be/Md3tdakoLGU.
På samma sätt, Martin-Brualla et al. REF tillämpar neural re-rendering för att förbättra återgivningen av mänskliga rörelsefångster för VR/AR-ändamål.
LookinGood: Enhancing Performance Capture with Real-time Neural Re-Rendering
{'venue': "SIGGRAPH Asia '18", 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}