Abstrakt. Vi presenterar en strategi för att härleda en lagerstrukturerad 3D-representation av en scen från en enda ingångsbild. Detta gör att vi kan härleda inte bara djupet av de synliga pixlarna, men också att fånga texturen och djupet för innehåll i scenen som inte är direkt synlig. Vi övervinner den utmaning som bristen på direkt tillsyn innebär genom att i stället utnyttja en mer naturligt tillgänglig flervisionstillsynssignal. Vår insikt är att använda synsyntesen som en proxyuppgift: vi hävdar att vår representation (från en enda bild), när den återges från ett nytt perspektiv, matchar den sanna observerade bilden. Vi presenterar en inlärningsram som operationaliserar denna insikt med hjälp av en ny, differentierad ny vyrenderare. Vi tillhandahåller kvalitativ och kvantitativ validering av vår strategi i två olika miljöer, och visar att vi kan lära oss att fånga de dolda aspekterna av en scen. Projektets webbplats finns på https://shubhtuls.github. - Jag vet inte vad du ska göra.
Tulsiani m.fl. REF använder synsyntes som en proxyuppgift för att lära sig en skiktad scenrepresentation.
Layer-structured 3D Scene Inference via View Synthesis
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}