I detta dokument fokuserar vi på bildmålning, som syftar till att återställa det saknade området av en ofullständig bild med tanke på den kontextuella informationen. Den senaste utvecklingen i djupgenerativa modeller möjliggör ett effektivt end-to-end ramverk för bildsyntes och målande uppgifter, men befintliga metoder baserade på generativa modeller utnyttjar inte segmenteringsinformationen för att begränsa objektets former, vilket vanligtvis leder till suddiga resultat på gränsen. För att ta itu med detta problem föreslår vi att den semantiska segmenteringsinformationen införs, som löses upp mellanklassskillnaden och variationen inom klassen för bildmålning. Detta leder till mycket tydligare återvunnen gräns mellan semantiskt olika regioner och bättre struktur inom semantiskt konsekventa segment. Vår modell factorizes bilden inpainting process i segmentering förutsägelse (SP-Net) och segmentering vägledning (SG-Net) som två steg, som förutsäger segmentering etiketter i det saknade området först, och sedan generera segmentering guidade inpainting resultat. Experiment på flera offentliga dataset visar att vårt tillvägagångssätt överträffar befintliga metoder för att optimera bildmålningens kvalitet, och den interaktiva segmenteringsguiden ger möjligheter till multimodala förutsägelser om bildmålning.
SPG-Net REF utnyttjar en semantisk segmenteringsmask för att måla uppgiften att lösgöra inter- och intraklassvariationer.
SPG-Net: Segmentation Prediction and Guidance Network for Image Inpainting
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}