Vårt mål i denna uppsats är att undersöka egenskaper av 3D-form som kan bestämmas från en enda bild. Vi definierar 3D-formattribut-generiska egenskaper hos den form som fångar krökning, kontakt och ockuperat utrymme. Vårt första mål är att härleda dessa 3D-formattribut från en enda bild. Ett andra mål är att härleda en 3D-form inbäddning-en lågdimensionell vektor som representerar 3D-formen. Vi studerar hur 3D form attribut och inbäddning kan erhållas från en enda bild genom att träna en Convolutional Neural Network (CNN) för denna uppgift. Vi börjar med syntetiska bilder så att bidraget från olika signaler och störande parametrar kan styras. Vi vänder oss sedan till riktiga bilder och introducerar en storskalig bilddatauppsättning skulpturer som innehåller 143K bilder som omfattar 2197 verk från 242 konstnärer. För CNN tränade på skulpturdatasetet visar vi följande: (i) vilka regioner av den avbildade skulpturen som CNN använder för att dra slutsatsen om 3D-formattribut; (ii) att formen inbäddning kan användas för att matcha tidigare osynliga skulpturer i stort sett oberoende av synvinkel; och (iii) att 3D-attributet generaliserar bilder av andra (icke-skulptur) objektklasser.
Abhinav Guptas grupp från Robotics Institute of Carnegie Mellon University studerade 3D formattributgeneriska egenskaper som fångar krökning, kontakt och ockuperat utrymme på djupet, för att härleda ovanstående attribut från en enda 2D-bild, samt för att härleda en lågdimensionell vektor som representerar 3D-formen från en enda 2D-bild REF.
From Images to 3D Shape Attributes
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Computer Science', 'Medicine']}