Semantisk bildinmålning är en utmanande uppgift där stora saknade regioner måste fyllas utifrån tillgängliga visuella data. Befintliga metoder som endast tar fram information ur en enda bild ger i allmänhet otillfredsställande resultat på grund av bristen på sammanhang på hög nivå. I detta dokument föreslår vi en ny metod för semantisk bildinmålning, som genererar det saknade innehållet genom konditionering av tillgängliga data. Med tanke på en utbildad generativ modell söker vi efter den närmaste kodningen av den skadade bilden i det latenta bildgrenröret med hjälp av vårt sammanhang och tidigare förluster. Denna kodning skickas sedan genom den generativa modellen för att härleda det saknade innehållet. I vår metod är det möjligt att dra slutsatser oavsett hur det saknade innehållet är strukturerat, medan den senaste inlärningsbaserade metoden kräver specifik information om hålen i träningsfasen. Experiment på tre datauppsättningar visar att vår metod framgångsrikt förutspår information i stora saknade regioner och uppnår pixel-nivå fotorealism, avsevärt överträffar de state-of-the-art metoder.
Alternativt, givet en utbildad generativ modell, Raymond et al. REF-sök efter den närmaste kodningen av den skadade bilden i det latenta bildgrenröret med hjälp av deras sammanhang och tidigare förluster för att dra slutsatsen att innehållet saknas av den generativa modellen.
Semantic Image Inpainting with Deep Generative Models
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}