3D-objektrekonstruktion från en enda bild är ett mycket underbestämt problem, kräver stark förkunskap om rimliga 3D-former. Detta innebär utmaningar för inlärningsbaserade metoder, eftersom det är ont om 3D-objektanteckningar i verkliga bilder. Tidigare arbete valde att träna på syntetiska data med marksanning 3D-information, men drabbades av domänanpassning när den testades på riktiga data. I detta arbete föreslår vi MarrNet, en end-to-end trainingable modell som successivt uppskattar 2.5D skisser och 3D objekt form. Vår lösliga formulering i två steg har tre fördelar. För det första, jämfört med full 3D-form, 2.5D-skisser är mycket lättare att återvinna från en 2D-bild; modeller som återhämta 2.5D-skisser är också mer benägna att överföra från syntetiska till verkliga data. För det andra, för 3D-rekonstruktion från 2.5D-skisser, kan system lära sig enbart av syntetiska data. Detta beror på att vi enkelt kan göra realistiska 2.5D-skisser utan att modellera objektets utseende variationer i verkliga bilder, inklusive belysning, textur, etc. Detta minskar ytterligare problemet med domänanpassning. För det tredje, vi härleder olika projektiva funktioner från 3D-form till 2.5D-skisser; ramen är därför end-to-end trainingable på verkliga bilder, kräver inga mänskliga kommentarer. Vår modell uppnår toppmodern prestanda på 3D-formsrekonstruktion.
MarrNet REF föreslår att rekonstruera 3D-objekt från 2.5D-skisser med normal, djup och siluettinformation extraherad från 2D-bilder.
MarrNet : 3 D Shape Reconstruction via 2 . 5 D Sketches