Högkvalitativ bildmålning kräver att saknade regioner fylls i en skadad bild med rimligt innehåll. Befintliga verk fyller antingen regionerna genom att kopiera bildpatcher eller generera semantiska-sammanhängande patcher från regionkontext, samtidigt som man bortser från det faktum att både visuell och semantisk rimlighet är mycket efterfrågad. I detta dokument föreslår vi en Pyramid-context ENcoder Network (PEN-Net) för bildinmålning av djupa generativa modeller. PEN-Net är byggt på en U-Net struktur, som kan återställa en bild genom att koda kontextuella semantik från full upplösning ingång, och avkodning de lärda semantiska funktioner tillbaka till bilder. Specifikt föreslår vi en pyramid-context kodare, som gradvis lär sig regional affinitet genom uppmärksamhet från * Detta arbete utfördes när den första författaren besökte Microsoft Research som en forskningspraktikant. en semantisk funktionskarta på hög nivå och överför den inlärda uppmärksamheten till den tidigare funktionskartan på låg nivå. Eftersom det saknade innehållet kan fyllas med uppmärksamhetsöverföring från djupt till grunt på ett pyramidiskt sätt, kan både visuell och semantisk sammanhållning för bildinmålning säkerställas. Vi föreslår vidare en flerskalig dekoder med djupt övervakade pyramidförluster och en kontradiktorisk förlust. En sådan utformning leder inte bara till en snabb konvergens i utbildningen, utan också till mer realistiska resultat i testerna. Omfattande experiment på olika datauppsättningar visar det föreslagna nätverkets överlägsna prestanda.
För att utnyttja funktionerna i både bildnivå och funktionsnivå föreslår REF ett nätverk av pyramidkontextkoder och en mekanism för överföring av uppmärksamhet som gradvis kan fylla de saknade regionerna från hög nivå till lågnivåfunktionskarta och samtidigt säkerställa semantiska sammansättningar.
Learning Pyramid-Context Encoder Network for High-Quality Image Inpainting
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}