: Översikt över vår strategi för att formulera 3D human pose uppskattning. Röda rutor anger den valda komponenten. Pictorial struktur modeller är de facto standard för 2D human pose uppskattning. Många förbättringar och förbättringar har föreslagits, t.ex. diskriminativt utbildade kroppsdelsdetektorer, flexibla kroppsmodeller och lokala och globala blandningar. Även om dessa tekniker gör det möjligt att uppnå state-of-the-art prestanda för 2D pose estimering, har de ännu inte utökats för att möjliggöra pose estimering i 3D, istället är detta problem traditionellt behandlas med 3D-kroppsmodeller och innebär komplexa slutsatser i ett högdimensionellt utrymme av 3D-kroppskonfigurationer. Vi formulerar den artikulerade 3D-människan utgör estimeringsproblem som en gemensam slutsats över uppsättningen av 2D-projektioner av pose i var och en av kameravyerna. Som ett första bidrag till detta dokument föreslår vi en 2D pose estimation approach som utökar den senaste 2D-bildstrukturmodellen [6] med flexibla delar, färgdrag, multimodala parvisa termer och blandningar av bildstrukturer. Den andra och viktigaste bidrag är att utvidga denna 2D pose estimation modell till en multi-view modell som utför gemensamma resonemang över människor poserar sett från flera perspektiv. Utgången av denna nya modell används sedan för att återställa 3D pose. Vi utvärderar vår multi-view bildstrukturer modell på HumanEva-I [8] och MPII matlagning [7] dataset. I jämförelse med relaterat arbete för 3D pose estimation uppnår vårt tillvägagångssätt liknande eller bättre resultat samtidigt som vi endast arbetar på enkelramar och inte förlitar oss på aktivitetsspecifika rörelsemodeller eller spårning. Framför allt överträffar vårt tillvägagångssätt den senaste tekniken för aktiviteter med mer komplexa rörelser. Single-view modell: Den bildstrukturer modell, ursprungligen infördes i [2, 3], representerar människokroppen som en konfiguration L = {l 1,. .., l N } av N stela delar och en uppsättning parvis del förhållanden E. Bilden läge och absolut orientering för varje del ges av l i = (x i, y i, I ). Vi formulerar modellen som ett villkorat slumpmässigt fält, och antar att sannolikheten för den del konfiguration L med tanke på bilden bevis I factorizes till en produkt av unary och parwise termer: Delsannolikhet termer f n (l n ; I) representeras med boostrade del detektorer som förlitar sig på kodning av bilden med hjälp av ett tätt beräknat rutnät av form kontext deskriptorer [1]. Vi konkateterar dessa formkontextfunktioner med färgfunktioner och lär oss en boostrad deldetektor ovanpå denna kombinerade representation. Observera att augumenting form information med färgen gör det möjligt för oss att automatiskt lära sig den relativa betydelsen av båda funktionerna i den del detektion skede. De pairwise termer f i j (l i, l j ) som kodar de rumsliga begränsningarna mellan delar traditionellt modelleras med Gaussian fördelning i det omvandlade utrymmet för den gemensamma mellan två delar. Vi utökar vår modell genom att införa blandningsmodeller på samma nivå som dessa parvisa delberoenden. Därför ersätter vi unimodal Gaussian med termen som maximerar över flera lägen och representerar varje läge med en Gaussian. Efter [4, 5] utvidgar vi vår inställning till en blandning av bildstrukturer modeller. Vi får blandningskomponenterna genom att samla träningsdata med k-medel och lära oss en separat modell för varje kluster. Komponenterna motsvarar normalt viktiga lägen i data, t.ex. olika perspektiv på personen med avseende på kameran. Komponentens index behandlas som en latent variabel som ska härledas vid provningstidpunkten. Vi väljer den bästa komponenten med minimal osäkerhet i den marginella bakre fördelningen av kroppsdelarna. I våra experiment fungerade detta tillvägagångssätt något bättre jämfört med en tränad holistisk klassificering som skiljer blandningskomponenten baserat på innehållet i den person som avgränsar boxen. Multi-view modell: För att utnyttja multi-view information vi augument modellen med utseende och rumsliga korrespondens begränsningar över vyer. För att uppskatta 3D pose fortsätter vi i två steg. I det första steget drar vi gemensamt slutsatsen om 2D-projektionerna av 3D-karosslederna genom att utnyttja multi-view-begränsningar. I det andra steget återvinner vi 3D-posen genom triangulering av de beräknade 2D-projektionerna. För enkelhetens skull beskriver vi vår multi-view modell för två vyer. För bild m, låt oss beteckna 2D kropp konfiguration som L m och bild bevis som I m. Enligt Eq. 1 den enda-vy faktorer f (L 1 ; I 1 ) och f (L 2 ; I 2 ) som representerar den villkorliga bakre över kroppens konfigurationer bryts ner till en produkt av unary och pairwise termer som definierar utseende och rumsliga begränsningar mellan delar självständigt för varje vy. Den gemensamma bakre över konfigurationer i båda vyerna ges av p(L 1, L 2  och I 1,
Ett annat tillvägagångssätt för att härleda 3D-mänskliga kropp pose av en enda person föreslås av Amin et al. Hoppa över det.
Multi-view Pictorial Structures for 3D Human Pose Estimation
{'venue': 'BMVC', 'journal': None, 'mag_field_of_study': ['Computer Science']}