Moderna metoder för flera personer pose uppskattning i video kräver stora mängder täta annoteringar. Men att märka varje bildruta i en video är kostsamt och arbetsintensivt. För att minska behovet av täta annoteringar föreslår vi ett PoseWarper-nätverk som utnyttjar träningsvideor med glesa annoteringar (varje k-ramar) för att lära sig att utföra tät temporal pose förökning och uppskattning. Med ett par videoramar-en märkt Frame A och en omärkt Frame B-vi tränar vår modell för att förutsäga mänsklig pose i Frame A med hjälp av funktionerna från Frame B med hjälp av deformerbara konvolutioner för att implicit lära sig pose warping mellan A och B. Vi visar att vi kan utnyttja vår utbildade PoseWarper för flera tillämpningar. Först och främst kan vi på inference tid vända applikationsriktningen för vårt nätverk för att sprida pose information från manuellt kommenterade ramar till omärkta ramar. Detta gör det möjligt att generera pose annotations för hela videon ges endast ett fåtal manuellt märkta ramar. Jämfört med moderna etikettutbredningsmetoder baserade på optiskt flöde är vår warpmekanism mycket mer kompakt (6M vs 39M parametrar), och också mer exakt (88,7% mAP vs 83,8% mAP). Vi visar också att vi kan förbättra noggrannheten hos en pose estimator genom att träna den på en förstärkt datauppsättning som erhålls genom att lägga till våra förökade poser till de ursprungliga manuella etiketterna. Slutligen kan vi använda vår PoseWarper för att aggregera temporal pose information från angränsande ramar under inference. Detta gör det möjligt för vårt system att uppnå toppmoderna pose detektionsresultat på PoseTrack2017-datasetet.
PoseWarper REF använder ett par märkta och omärkta ramar för att förutsäga mänskliga poser genom att lära pose-warping med hjälp av deformerbara konvolutioner.
Learning Temporal Pose Estimation from Sparsely-Labeled Videos
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}