Ouppmärksammad bild-till-bild översättning har fått stor uppmärksamhet på grund av den senaste imponerande framsteg som bygger på generativa kontradiktoriska nätverk (GAN). Men tidigare metoder misslyckas ofta i utmanande fall, särskilt när en bild har flera mål instanser och en översättning uppgift innebär betydande förändringar i form, t.ex. översätta byxor till kjolar i modebilder. För att ta itu med problemen föreslår vi en ny metod, myntad instans-medveten GAN (Instagan), som innehåller instansinformation (t.ex., objekt segmentering masker) och förbättrar multi-intance transfiguration. Den föreslagna metoden översätter både en bild och motsvarande uppsättning instansattribut samtidigt som permutationsinvarianten hos instanserna bibehålls. I detta syfte inför vi ett sammanhang som bevarar förlusten som uppmuntrar nätverket att lära sig identitetsfunktionen utanför målfallen. Vi föreslår också en sekventiell mini-batch inference/training teknik som hanterar flera instanser med en begränsad GPU minne och förbättrar nätverket för att generalisera bättre för flera instanser. Vår jämförande utvärdering visar hur effektiv den föreslagna metoden är på olika bilddataset, särskilt i ovannämnda utmanande fall. Kod och resultat finns på https://github.com/sangwoomo/integan.
Kanske det mest liknar vårt arbete är den nyligen föreslagna Instagan REF, som använder objekt segmentering masker för att översätta både en bild och motsvarande uppsättning instans attribut samtidigt som permutation invariance egenskap fall.
InstaGAN: Instance-aware Image-to-Image Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}