Exakt 3D mänsklig pose uppskattning från enstaka bilder är möjligt med sofistikerade djupnät arkitekturer som har utbildats på mycket stora datauppsättningar. Detta lämnar dock fortfarande problemet med att fånga motioner som det inte finns någon sådan databas för. Manuell notering är tröttsam, långsam och felbenägen. I detta dokument föreslår vi att de flesta kommentarerna ersätts med flera synpunkter, endast vid utbildningstidpunkten. I synnerhet utbildar vi systemet för att förutsäga samma pose i alla synvinklar. En sådan konsekvent begränsning är nödvändig men inte tillräcklig för att förutsäga exakta poser. Vi kompletterar den därför med en övervakad förlust som syftar till att förutsäga rätt posera i en liten uppsättning märkta bilder, och med en legalisering term som straffar drift från initiala förutsägelser. Dessutom föreslår vi en metod för att uppskatta kamerans pose tillsammans med mänsklig pose, som låter oss använda multiviewfilmer där kalibrering är svårt, t.ex. för pan-tilt eller rörliga handhållna kameror. Vi visar effektiviteten i vår strategi på etablerade riktmärken, samt på en ny Ski dataset med roterande kameror och expertskidrörelse, för vilka annoteringar är verkligt svåra att få tag på. skulle vara att kommentera videodata. Att uppnå hög noggrannhet skulle dock kräva en hel del kommentarer, som är tråkiga, långsamma och felbenägna. Som illustreras av Fig. 1, Vi föreslår därför att ersätta de flesta av kommentarerna med användning av flera synpunkter, endast vid utbildningstid. I synnerhet använder vi dem för att ge svag övervakning och tvinga systemet att förutsäga samma situation i alla synvinklar. Även om sådana överensstämmelsebegränsningar ökar noggrannheten, är de tyvärr inte tillräckliga. Till exempel kan nätverket lära sig att alltid förutsäga samma pose, oberoende av inmatningsbilden. För att förhindra detta använder vi en liten uppsättning bilder med mark-sanning poser, som tjänar ett dubbelt syfte. För det första ger de en stark handledning under utbildningen. För det andra låter de oss regularisera multi-view förutsägelser genom att uppmuntra dem att hålla sig nära förutsägelserna i ett nätverk utbildade med de knappa övervakade data endast. Dessutom föreslår vi att använda en normaliserad pose avstånd för att utvärdera alla förluster som innebär poser. Det skiljer sig från skalan, och vi fann det vara nyckeln till att upprätthålla noggrannheten när de kommenterade uppgifterna är knappa. Våra experiment visar effektiviteten i vår svagt övervakade multi-view utbildningsstrategi på flera
Rhodin m.fl. REF använder flervisionskonsistensbegränsningar för att övervaka ett nätverk.
Learning Monocular 3D Human Pose Estimation from Multi-view Images
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}