I detta dokument överväger vi problemet med att rekonstruera en tät 3D-modell med bilder tagna från olika vyer. Nya metoder baserade på konvolutionella neurala nätverk (CNN) gör det möjligt att lära sig hela uppgiften från data. De omfattar dock inte bildbildningens fysik såsom perspektivgeometri och ocklusion. I stället modellerar klassiska metoder baserade på Markov Random Fields (MRF) med strålpotentialer uttryckligen dessa fysiska processer, men de klarar inte stora variationer i ytans utseende över olika synvinklar. I detta dokument föreslår vi RayNet, som kombinerar styrkan i båda ramverken. RayNet integrerar ett CNN som lär sig visningsinvarianta funktioner representationer med en MRF som uttryckligen kodar fysik perspektiv projektion och ocklusion. Vi tränar RayNet end-to-end med empirisk riskminimering. Vi utvärderar grundligt vår strategi för att utmana verkliga dataset och visar dess fördelar över en bitvis utbildad baslinje, handgjorda modeller samt andra lärande-baserade metoder.
RayNet REF-modeller visa beroenden längs strålpotentialer med ett Markov slumpmässigt fält som är gemensamt lärd med en vy-invariant funktion representation.
RayNet: Learning Volumetric 3D Reconstruction with Ray Potentials
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}