Vi presenterar ett minimalistiskt men effektivt neuralt nätverk som beräknar täta ansiktskorrespondenser i mycket okonsekventa RGB-bilder. Vårt nätverk lär sig ett perpixelflöde och en matchande mask mellan 2D-inmatningsfotografier av en person och projektionen av en texturerad 3D-ansiktsmodell. För att träna ett sådant nätverk genererar vi en massiv datauppsättning syntetiska ansikten med täta etiketter med renderingar av en morfabel ansiktsmodell med variationer i pose, uttryck, belysning och ocklusioner. Vi fann att en utbildning förfining med riktiga fotografier krävs för att drastiskt förbättra förmågan att hantera verkliga bilder. I kombination med en ansiktsdetektion och 3D ansiktsmontering steg, visar vi att vår strategi överträffar de state-of-the-art ansikte anpassningsmetoder i termer av noggrannhet och hastighet. Genom att direkt uppskatta täta korrespondenser förlitar vi oss inte på den fulla synligheten av glesa ansiktsmärken och är inte begränsade till modellutrymmet för regressionsbaserade tillvägagångssätt. Vi bedömer också vår metod för videoramar och demonstrerar framgångsrik per-frame-behandling under extrema pose-variationer, ocklusioner och ljusförhållanden. Jämfört med befintliga 3D ansiktsspårning tekniker, vår montering inte förlitar sig på tidigare ramar eller frontal ansiktsinitiering och är robust till bristfälliga ansiktsdetektioner.
Yu m.fl. REF presenterade ett neuralt nätverk för täta ansiktskorrespondenser i mycket okonstruerade RGB-bilder.
Learning Dense Facial Correspondences in Unconstrained Images
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}