Konventionell stel struktur från rörelse (SFM) behandlar problemet med att återställa kameraparametrarna (rörelse) och 3D-platserna (struktur) för scenpunkter, med tanke på observerade 2D-bildfunktionspunkter. I detta dokument föreslår vi en ny formulering som kallas semantisk struktur från rörelse (SSFM). Utöver de geometriska begränsningar som SFM tillhandahåller utnyttjar SSFM både semantiska och geometriska egenskaper som hör samman med föremål i scenen (Fig. 1 )............................................................................................................... Dessa egenskaper gör att vi kan återställa inte bara struktur och rörelse utan också 3D platser, poser, och kategorier av objekt på scenen. Vi kastar detta problem som ett maxlikelihood problem där geometri (kameror, punkter, objekt) och semantisk information (objekt klasser) samtidigt uppskattas. Den viktigaste intuitionen är att, förutom bildfunktioner, mätningar av objekt över vyer ger ytterligare geometriska begränsningar som relaterar kameror och scenparametrar. Dessa begränsningar gör geometriuppskattningsprocessen mer robust och i sin tur gör objektdetektionen mer exakt. Vårt ramverk har den unika förmågan att: i) uppskatta kameran utgör endast från objektdetektioner, ii) förbättra kamerans pose uppskattning, jämfört med funktion-punkt-baserade SFM algoritmer, iii) förbättra objektdetektioner ges flera okalibrerade bilder, jämfört med att självständigt detektera objekt i enstaka bilder. Omfattande kvantitativa resultat på tre dataset -LiDAR bilar, street-view fotgängare, och Kinect kontor skrivbord - verifiera våra teoretiska påståenden.
Bao och Savarese REF använder en objektdetektor i strukturen från rörelseinställning för att gemensamt uppskatta kameraparametrar, 3D-punkter, och objektinstanser och poser.
Semantic structure from motion
{'venue': 'CVPR 2011', 'journal': 'CVPR 2011', 'mag_field_of_study': ['Computer Science']}