: Vår modell ger användaren kontroll över både semantisk och stil som syntetiserar en bild. Den semantiska (t.ex. förekomsten av ett träd) styrs via en etikettkarta (visualiserad i den översta raden), medan stilen styrs via referensstilsbilden (visualiseras i den vänstra kolumnen). Besök gärna vår hemsida för interaktiva bildsyntesdemos. Vi föreslår rumsligt anpassningsbar normalisering, ett enkelt men effektivt lager för syntetisering av fotorealistiska bilder med en input semantisk layout. Tidigare metoder matar direkt den semantiska layouten som ingång till det djupa nätverket, som sedan bearbetas genom stackar o f konvolution, normalisering, och nonlinearity lager. Vi visar att detta är subop timal som normalisering lager tenderar att "tvätta bort" se mantisk information. För att ta itu med problemet föreslår vi att man använder indatalayouten för att modulera aktiveringarna i normala iiseringslager genom en rumsligt anpassningsbar, inlärd transformation. Experiment på flera utmanande dataset visar på fördelen med den föreslagna metoden framför ex isting metoder, både visuell trohet och anpassning-+Taesung Park bidrog till arbetet under hans NVIDIA praktik. Förtjänta med inmatningslayouter. Slutligen ger vår modell användaren kontroll över både semantiska och stil som syntetiserande bilder. Koden finns tillgänglig på h t t p s : / / g i t h u b. com / NV1 a b s/ SPADE.
SPADE REF använde de semantiska märkningskartorna för att förutsäga parametrar för affin transformation för att modulera aktiveringarna i normaliseringsskikt.
Semantic Image Synthesis With Spatially-Adaptive Normalization
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}