Målet med detta arbete är mänsklig pose uppskattning i videor, där flera ramar finns tillgängliga. Vi undersöker en ConvNet arkitektur som kan dra nytta av temporal sammanhang genom att kombinera information över flera ramar med hjälp av optiskt flöde. I detta syfte föreslår vi en nätverksarkitektur med följande nyheter: i) ett djupare nätverk än tidigare undersökt för regresserande värmekartor; ii) rumsliga fusionslager som lär sig en implicit rumslig modell; iii) optiskt flöde används för att anpassa värmekartans förutsägelser från angränsande ramar; och iv) ett slutligt parametriskt poolinglager som lär sig att kombinera de justerade värmekartorna till en poolad konfidenskarta. Vi visar att denna arkitektur överträffar ett antal andra, inklusive en som använder optiskt flöde enbart vid ingångslagren, en som regresserar gemensamma koordinater direkt, och en som förutspår värmekartor utan rumslig fusion. Den nya arkitekturen överträffar state of the art med en stor marginal på tre video utgör estimeringsdataset, inklusive de mycket utmanande Poses i Wild dataset, och överträffar andra djupa metoder som inte använder en grafisk modell på single-image FlIC-riktmärket (och även [5, 35] i hög precision regionen).
Pfister m.fl. Ref undersöka en video utgör estimering arkitektur som kan dra nytta av temporal sammanhang genom att kombinera information över flera ramar med hjälp av optiskt flöde.
Flowing ConvNets for Human Pose Estimation in Videos
{'venue': '2015 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2015 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}