Att förstå kamerabärarens aktivitet är centralt för egocentrisk syn, men en viktig aspekt av denna aktivitet är i sig osynlig för kameran - bärarens kroppsställning. Tidigare arbete fokuserar på att uppskatta pose av händer och armar när de kommer in i bilden, men detta 1) ger en ofullständig bild av hela kroppen hållning, och 2) förhindrar någon pose uppskattning alls i många ramar, eftersom händerna bara är synliga i en bråkdel av vardagsaktiviteter. Vi föreslår att man drar den "osynliga ställningen" för en person bakom den egocentriska kameran. Med en enda video returnerar vår effektiva inlärningsbaserade metod hela kroppen 3D gemensamma positioner för varje ram. Vår metod utnyttjar signaler från de dynamiska rörelsesignaturer i den omgivande scenen-som förändras förutsägbart som en funktion av kroppen poserar-och statiska scenstrukturer som avslöjar synvinkeln (t.ex. sittande vs. stående). Vi introducerar vidare ett nytt energiminimeringsprogram för att härleda posesekvensen. Den använder mjuka förutsägelser av poser per tid ögonblick tillsammans med en icke-parametrisk modell av mänskliga posera dynamik över längre fönster. Vår metod överträffar en rad möjliga alternativ, inklusive typiska djupt lärande metoder för direkt posera regression från bilder.
REF uppskattar den 3D gemensamma positionen för osynliga kroppsleder med hjälp av egocentriska videor.
Seeing Invisible Poses: Estimating 3D Body Pose from Egocentric Video
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}