: Illustration av problemet och vårt förhållningssätt: givet två bilder, x med objekt och y med bakgrund, generera två bilder:x med bakgrund från den första bilden restaureras efter att klippa ut objektet och med objektet klistras in på den andra bakgrunden. Bilder på denna siffra är verkliga exempel som produceras av vår algoritm. Vi presenterar ett nytt tillvägagångssätt för bildmanipulation och förståelse genom att samtidigt lära sig att segmentera objektmasker, klistra in objekt till en annan bakgrundsbild och ta bort dem från originalbilder. För detta ändamål utvecklar vi en ny generativ modell för kompositionsbildgenerering, SEIGAN (Segment-EnhanceInpaint Generative Adversarial Network), som lär sig dessa tre operationer tillsammans i en kontradiktorisk arkitektur med ytterligare cykelkonsistensförluster. För att träna behöver SEIGAN endast begränsa lådan övervakning och kräver inte parning eller mark sanning masker. SEIGAN producerar bättre framtagna bilder (utvärderade av mänskliga bedömare) än andra metoder och producerar högkvalitativa segmenteringsmasker, förbättrar över andra kontradiktoriskt utbildade metoder och närmar sig resultaten av fullt övervakad utbildning.
När de förses med bakgrundsbilder och bilder med objekt lär sig REF att segmentera genom att förutsäga masker och klistra in patchar från objektdomänen på bakgrundsdomänen som begränsas av en kontradiktorisk och en cykelkonsistensförlust.
SEIGAN: Towards Compositional Image Generation by Simultaneously Learning to Segment, Enhance, and Inpaint
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}