: Exempel på målande resultat av vår metod på bilder av naturscen, ansikte och textur. Saknade områden visas i vitt. I varje par, vänster är ingångsbild och höger är den direkta utgången av våra utbildade generativa neurala nätverk utan någon efterbehandling. Den senaste tidens djupt lärandebaserade strategier har visat lovande resultat för den utmanande uppgiften att måla stora saknade regioner i en image. Dessa metoder kan generera visuellt rimliga bildstrukturer och texturer, men skapar ofta förvrängda strukturer eller suddiga texturer som är oförenliga med omgivande områden. Detta beror främst på ineffektivitet i konvolutionella neurala nätverk genom att uttryckligen låna eller kopiera information från avlägsna rumsliga platser. Å andra sidan är traditionella struktur- och patchsyntesmetoder särskilt lämpliga när de behöver låna texturer från de omgivande regionerna. Motiverade av dessa observationer föreslår vi en ny djupt generativ modellbaserad metod som inte bara kan syntetisera nya bildstrukturer utan också explicit utnyttja omgivande bildfunktioner som referenser under nätverksträning för att göra bättre förutsägelser. Modellen är en feedfore, helt konvolutionella neurala nätverk som kan bearbeta bilder med flera hål på godtyckliga platser och med varierande storlekar under testtiden. Experiment på flera datauppsättningar inklusive ansikten (CelebA, CelebA-HQ), texturer (DTD) och naturliga bilder (ImageNet, Places2) visar att vårt föreslagna tillvägagångssätt genererar högkvalitativa målande resultat än befintliga. Kod, demo och modeller finns på https://github.com/ JiahuiYu/generative_inpainting.
Nyligen Yu et al. I REF föreslås en ny djupt generativ modellbaserad metod för inmålning.
Generative Image Inpainting with Contextual Attention
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}