Att återställa 3D-representationen av ett objekt från RGB-bilder med enkelvyer eller multivyer med djupa neurala nätverk har fått ökad uppmärksamhet under de senaste åren. Flera mainstream verk (t.ex., 3D-R2N2) använder återkommande neurala nätverk (RNN) för att sammansmälta flera funktionskartor extraherade från indata bilder sekventiellt. När RNN-baserade metoder ges samma uppsättning indatabilder med olika order kan de dock inte ge konsekventa återuppbyggnadsresultat. På grund av den långsiktiga minnesförlusten kan RNN inte heller fullt ut utnyttja indatabilder för att förfina återuppbyggnadsresultaten. För att lösa dessa problem föreslår vi en ny ram för single-view och multi-view 3D rekonstruktion, som heter Pix2Vox. Genom att använda en väl utformad kodare-dekoder, genererar det en grov 3D volym från varje ingångsbild. Därefter introduceras en sammanhangsmedveten fusionsmodul för att adaptivt välja högkvalitativa rekonstruktioner för varje del (t.ex. bordsben) från olika grova 3D-volymer för att erhålla en smält 3D-volym. Slutligen förfinar en raffinaderi ytterligare den sammanslagna 3D-volymen för att generera den slutliga produktionen. Experimentella resultat på ShapeNet och Pix3D-riktmärken indikerar att den föreslagna Pix2Vox överträffar state-of-arts med stor marginal. Dessutom är den föreslagna metoden 24 gånger snabbare än 3D-R2N2 när det gäller bakåtgående inferenstid. Experimenten på ShapeNet osedda 3D-kategorier har visat vår metods överlägsna generaliseringsförmåga.
Däremot rekonstruerar REF en annan volym från varje bild och smälter sedan ihop dem i ett sammanhangsbekant lager.
Pix 2 Vox : Context-aware 3 D Reconstruction from Single and Multiview Images