Vi tar itu med problemet med att hitta realistiska geometriska korrigeringar till ett förgrundsobjekt så att det verkar naturligt när det är sammansatt i en bakgrundsbild. För att uppnå detta föreslår vi en ny Generative Adversarial Network (GAN) arkitektur som använder rumsliga Transformer Networks (STNs) som generator, som vi kallar rumsliga Transformer GANs (ST-Gans). ST-Gan söker bildrealism genom att arbeta i den geometriska warpparametern utrymme. I synnerhet utnyttjar vi ett iterativt STN warping system och föreslår en sekventiell utbildningsstrategi som ger bättre resultat jämfört med naiv utbildning av en enda generator. En av de viktigaste fördelarna med ST-GAN är dess tillämplighet på högupplösta bilder indirekt eftersom de förutsagda warpparametrarna är överförbara mellan referensramar. Vi demonstrerar vårt tillvägagångssätt i två tillämpningar: 1) visualisera hur inomhusmöbler (t.ex. från produktbilder) kan uppfattas i ett rum, (2) hallucinera hur tillbehör som glasögon skulle se ut när matchas med verkliga porträtt.
Nyligen använde REF rumsliga transformatornätverk som en generator genom att utföra geometriska korrigeringar för att warp ett maskerat objekt för att anpassa sig till en fast bakgrundsbild.
ST-GAN: Spatial Transformer Generative Adversarial Networks for Image Compositing
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}