Många problem med bild-till-bild översättning är tvetydiga, eftersom en enda ingångsbild kan motsvara flera möjliga utgångar. I detta arbete strävar vi efter att modellera en fördelning av möjliga utgångar i en villkorad generativ modellering. Olikheterna i kartläggningen destilleras i en lågdimensionell latent vektor, som kan provtas slumpmässigt vid testtillfället. En generator lär sig att kartlägga den givna inmatningen, kombinerat med denna latenta kod, till utgången. Vi uppmuntrar uttryckligen kopplingen mellan utdata och latent kod att vara inverterbar. Detta hjälper till att förhindra en många-till-en kartläggning från latent kod till utgången under träningen, även känd som problemet med läge kollaps, och ger mer varierande resultat. Vi utforskar flera varianter av detta tillvägagångssätt genom att använda olika utbildningsmål, nätverksarkitekturer och metoder för att injicera den latenta koden. Vår föreslagna metod uppmuntrar bijektiv överensstämmelse mellan latent kodning och utgång lägen. Vi presenterar en systematisk jämförelse av vår metod och andra varianter på både perceptuell realism och mångfald.
En andra lösning föreslås av REF, där kopplingen mellan utdata och latent kod uppmuntras att vara inverterbar för att undvika många till en kartläggning.
Toward Multimodal Image-to-Image Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}