Att lära sig att skapa naturliga scener har alltid varit en utmanande uppgift i datorseendet. Det är ännu mer mödosamt när generationen är beroende av bilder med drastiskt olika vyer. Detta beror främst på att förståelse, motsvarande och omvandlande utseende och semantisk information över hela vyerna inte är trivialt. I detta dokument försöker vi lösa det nya problemet med cross-view bildsyntes, flyg till street-view och vice versa, med hjälp av villkorliga generativa kontrariska nätverk (cGN). Två nya arkitekturer som kallas Crossview Fork (X-Fork) och Crossview Sequential (X-Seq) föreslås att generera scener med upplösning på 64×64 och 256×256 pixlar. X-Fork arkitektur har en enda diskriminator och en enda generator. Generatorn hallucinerar både bilden och dess semantiska segmentering i målvyn. X-Seq arkitektur använder två cganer. Den första genererar målbilden som sedan matas till den andra CGAN för att generera sin motsvarande semantiska segmenteringskarta. Återkopplingen från den andra CGAN hjälper den första CGAN generera skarpare bilder. Båda våra föreslagna arkitekturer lär sig att generera naturliga bilder samt deras semantiska segmenteringskartor. De föreslagna metoderna visar att de kan fånga och underhålla objektens verkliga semantik i käll- och målvyer bättre än den traditionella metoden för bild-till-bild-översättning som endast beaktar scenens visuella utseende. Omfattande kvalitativa och kvantitativa utvärderingar stöder effektiviteten i våra ramverk, jämfört med två toppmoderna metoder, för naturlig scengenerering över drastiskt olika synsätt.
I REF föreslås en end-to-end sekvens av två cGAN-nätverk för att syntetisera korsvisa bilder samt upprätthålla den sanna semantik av objekt väl i både käll- och måldomäner, där strategin att generera semantiska segmenteringar tillsammans med bilder i måldomänen hjälper nätverken att lära sig bättre.
Cross-View Image Synthesis Using Conditional GANs
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}