Vi presenterar ett transformationsgrundat bildgenereringsnätverk för ny 3D-vysyntes från en enda bild. Vårt tillvägagångssätt drar först uttryckligen slutsatsen att de delar av geometrin som syns både i inmatningen och i nya vyer och sedan kastar det återstående syntesproblemet som bildkomplettering. Specifikt förutspår vi båda ett flöde för att flytta pixlarna från inmatningen till den nya vyn tillsammans med en ny siktkarta som hjälper till att hantera okulsion/disocculsion. Därefter, beroende på dessa mellanliggande resultat, hallucinerar vi (t.ex.) delar av objektet osynliga i indatabilden. Förutom den nya nätverksstruktur, utbildning med en kombination av kontradiktoriska och perceptuella förlust resulterar i en minskning av vanliga artefakter av nya synsyntes såsom förvrängningar och hål, samtidigt som framgångsrikt generera hög frekvens detaljer och bevara visuella aspekter av inmatningsbilden. Vi utvärderar vår strategi på ett brett spektrum av syntetiska och verkliga exempel. Både kvalitativa och kvantitativa resultat visar att vår metod uppnår betydligt bättre resultat jämfört med befintliga metoder.
REF syntetiserar nya vyer från en enda bild genom att härleda geometrisk information följt av bildkomplettering, med hjälp av en kombination av kontradiktorisk och perceptuell förlust.
Transformation-Grounded Image Generation Network for Novel 3D View Synthesis
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}