Vi föreslår en ny 3D holistisk ++ scen förståelse problem, som gemensamt tar itu med två uppgifter från en enda bild: (i) holistisk scen tolkning och rekonstruktion 3D uppskattningar av objekt avgränsande lådor, kamera pose, och rum layout, och (ii) 3D mänsklig pose uppskattning. Intuitionen bakom är att utnyttja den kopplade karaktären av dessa två uppgifter för att förbättra detaljrikedomen och utförandet av scenförståelse. Vi föreslår att man utnyttjar två kritiska och väsentliga samband mellan dessa två uppgifter: (i) människa-objekt-interaktion (HOI) för att modellera de finkorniga relationerna mellan agenter och objekt på scenen, och (ii) fysisk allmängiltighet för att modellera den rekonstruerade scenens fysiska rimlighet. Den optimala konfigurationen av 3D-scenen, representerad av en parsekurva, kan härledas med hjälp av Markov-kedjan Monte Carlo (MCMC), som effektivt färdas genom det icke-differentierbara gemensamma lösningsutrymmet. Experimentella resultat visar att den föreslagna algoritmen avsevärt förbättrar utförandet av de två uppgifterna på tre datauppsättningar, vilket visar en förbättrad generaliseringsförmåga.
Nyligen; Chen et al. I Ref föreslås att man tar itu med scentolkning och 3D innebär en gemensam uppskattning och att man utnyttjar deras kopplade karaktär för att förbättra scenförståelsen.
Holistic++ Scene Understanding: Single-View 3D Holistic Scene Parsing and Human Pose Estimation With Human-Object Interaction and Physical Commonsense
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}