....................................... Exempel på slutförande resultat av vår metod på bilder av ett ansikte, en byggnad, och naturlandskap med olika masker (missing regioner visas i vitt). För varje grupp visas den maskerade indatabilden kvar, följt av provresultat från vår modell utan någon efterbehandling. Resultaten är varierande och rimliga. (Zoom in för att se detaljerna.) De flesta avbildningsmetoder ger bara ett resultat för varje maskerad inmatning, även om det kan finnas många rimliga möjligheter. I detta dokument presenterar vi en strategi för pluralistisk bild färdigställande - uppgiften att generera flera och olika rimliga lösningar för bild färdigställande. En stor utmaning som inlärningsbaserade metoder står inför är att det vanligtvis bara är ett fall av grundläggande sanningsutbildning per etikett. Som sådan leder provtagning från villkorade fordonskombinationer fortfarande till minimal mångfald. För att komma till rätta med detta föreslår vi en ny och probabilistisk principiell ram med två parallella vägar. En är en rekonstruerande väg som använder den enda givna marken sanningen för att få tidigare distribution av saknade delar och återuppbygga den ursprungliga bilden från denna distribution. Den andra är en generativ väg för vilken den villkorliga föregående är kopplad till den fördelning som erhålls i den rekonstruerande vägen. Båda stöds av GAN. Vi introducerar också ett nytt kort+långsiktigt uppmärksamhetsskikt som utnyttjar avlägsna relationer mellan dekoder och kodare funktioner, förbättra utseende konsistens. När vi testades på datauppsättningar med byggnader (Paris), ansikten (CelebA-HQ) och naturliga bilder (ImageNet), genererade vår metod inte bara resultat av högre kvalitet, utan också med flera och olika rimliga utgångar.
Zheng m.fl. REF presenterar en pluralistisk bildkompletteringsmetod för att generera flera och olika rimliga lösningar för bildkomplettering.
Pluralistic Image Completion
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}