Abstrakt. Vi föreslår en beräkningsram för att tillsammans tolka en enda RGB-bild och rekonstruera en holistisk 3D-konfiguration som består av en uppsättning CAD-modeller med hjälp av en stokastisk grammatikmodell. Speciellt introducerar vi en Holistic Scene Grammar (HSG) för att representera 3D scenstrukturen, som kännetecknar en gemensam fördelning över det funktionella och geometriska utrymmet av inomhusscener. Den föreslagna HRG fångar upp tre väsentliga och ofta latenta dimensioner av inomhusscenerna: i) latenta mänskliga sammanhang, som beskriver råd och funktionalitet hos ett rumsarrangemang, ii) geometriska begränsningar över scenkonfigurationerna, och iii) fysiska begränsningar som garanterar fysiskt rimlig tolkning och rekonstruktion. Vi löser detta gemensamma tolknings- och rekonstruktionsproblem på ett analys-för-syntes-sätt och försöker minimera skillnaderna mellan indatabilden och de återgivna bilderna som genereras av vår 3D-representation, över utrymmet för djup, yta normal, och objekt segmenteringskarta. Den optimala konfigurationen, representerad av en parsekurva, kan härledas med hjälp av Markov-kedjan Monte Carlo (MCMC), som effektivt färdas genom det icke-differentierbara lösningsutrymmet, gemensamt optimera objektlokalisering, 3D-layout och dolda mänskliga sammanhang. Experimentella resultat visar att den föreslagna algoritmen förbättrar generaliseringsförmågan och avsevärt överträffar tidigare metoder på 3D-layoutuppskattning, 3D-objektdetektering och holistisk scenförståelse.
Ett nyare verk av Huang et al. REF modellerar den hierarkiska strukturen, latenta mänskliga sammanhang, fysiska begränsningar, och optimerar gemensamt i en analys-för-syntes mode; även om mänskliga sammanhang och funktionalitet togs i beaktande, inomhus scen rekonstruktion med mänskliga poser och HOI förblir orörd.
Holistic 3D Scene Parsing and Reconstruction from a Single RGB Image
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}