Oparerade problem med bild-till-bild-översättning syftar till att modellera kartläggningen från en domän till en annan med oparade träningsdata. Aktuella verk som den välbekanta cykel GAN ger en allmän lösning för två domäner genom att modellera injicerande kartläggningar med en symmetrisk struktur. Även i situationer där två områden är asymmetriska i komplexitet, dvs. Mängden information mellan två områden skiljer sig åt, dessa tillvägagångssätt ger upphov till problem med dålig generationskvalitet, kartläggning av tvetydighet och modellkänslighet. För att ta itu med dessa frågor föreslår vi Asymmetric GAN (AsymGAN) att anpassa de asymmetriska domänerna genom att införa en hjälpvariabel (aux) för att lära sig den extra informationen för överföring från informationsfattig domän till den informationsrika domänen, vilket förbättrar prestandan hos state-of-the-art metoder på följande sätt. För det första, aux bättre balanserar informationen mellan två områden som gynnar kvaliteten på generation. För det andra leder informationsobalansen ofta till att vi kartlägger tvetydighet, där vi kan modellera en-till-många kartläggningar genom att ställa in aux, och dessutom är vår aux kontrollerbar. För det tredje kan träningen av Cycle GAN enkelt göra generatorparet känsligt för små störningar och variationer samtidigt som vår modell frikopplar generatorernas okonditionerade relevans genom att injicera aux under träningen. Vi verifierar effektiviteten hos vår föreslagna metod både kvalitativt och kvantitativt på asymmetriskt läge, etikettfotouppgift, på Cityscapes och Helens datauppsättningar, och visar många tillämpningar av asymmetriska bildöversättningar. Sammanfattningsvis ger vår AsymGAN en bättre lösning för oparerad bild-till-bild-översättning i asymmetriska domäner.
Dessutom föreslås en anpassning av de asymmetriska domänerna med hjälp av en hjälpvariabel för att lära sig de ytterligare uppgifterna.
Asymmetric GAN for Unpaired Image-to-image Translation
{'venue': 'IEEE Transactions on Image Processing 2019', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science', 'Medicine']}