Abstrakt. Vi introducerar konceptet med okonstruerad 3D-prestanda i realtid genom explicit semantisk segmentering i RGB-ingången. För att säkerställa robusthet förlitar sig de avancerade lärmetoderna på stora utbildningsdatauppsättningar av ansiktsbilder som fångas i det vilda. Även om imponerande spårning kvalitet har visats för ansikten som är till stor del synliga, någon ocklusion på grund av hår, tillbehör, eller hand-till-ansikte gester skulle resultera i betydande visuella artefakter och förlust av spårning noggrannhet. Modellering av ocklusioner har mestadels undvikits på grund av dess enorma utrymme av utseende variabilitet. För att ta itu med denna förbannelse av hög dimensionalitet, utför vi spårning i okonstruerade bilder förutsatt att icke-ansikte regioner kan vara helt maskerad. Tillsammans med de senaste genombrotten i djup inlärning, visar vi att pixel-nivå ansiktssegmentering är möjligt i realtid genom att repurposing convolutional neurala nätverk som ursprungligen utformats för allmän semantisk segmentering. Vi utvecklar en effektiv arkitektur baserad på ett två-ströms dekonvolutionsnätverk med kompletterande egenskaper, och introducerar noggrant utformade träningsprover och dataförstärkningsstrategier för förbättrad segmenteringsnoggrannhet och robusthet. Vi antar en toppmodern regressionsbaserad ansiktsspårningsram med segmenterade ansiktsbilder som utbildning, och demonstrerar korrekt och oavbruten ansiktsutveckling i närvaro av extrem ocklusion och även sidovyer. Dessutom kan den resulterande segmenteringen direkt användas för att kompositera partiella 3D-ansiktsmodeller på de ingående bilderna och möjliggöra sömlösa ansiktsmanipuleringsuppgifter, såsom virtuell make-up eller ansiktsersättning.
REF presenterar en metod för icke-konstruerad 3D-prestanda i realtid genom explicit semantisk segmentering i RGB-inmatningen.
Real-Time Facial Segmentation and Performance Capture from RGB Input
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}