Nya framsteg i djupinlärning har visat spännande löfte att fylla stora hål i naturliga bilder med semantiskt rimliga och sammanhangsmedvetna detaljer, vilket påverkar grundläggande bildmanipulation uppgifter som objekt borttagning. Även om dessa inlärningsbaserade metoder är betydligt mer effektiva för att fånga hög nivå funktioner än tidigare tekniker, de kan bara hantera mycket låg upplösning ingångar på grund av minnesbegränsningar och svårigheter i utbildningen. Även för något större bilder skulle de målade regionerna verka suddiga och obehagliga gränser bli synliga. Vi föreslår en flerskalig neural patch syntes metod baserad på gemensam optimering av bildinnehåll och textur begränsningar, som inte bara bevarar kontextuella strukturer men också producerar högfrekvens detaljer genom att matcha och anpassa patchar med de mest liknande mellanlager funktion korrelationer i en djup klassificering nätverk. Vi utvärderar vår metod på ImageNet och Paris Streetview datauppsättningar och uppnådde state-of-theart inpainting noggrannhet. Vi visar vår strategi producerar skarpare och mer sammanhängande resultat än tidigare metoder, särskilt för högupplösta bilder.
Senare, Yang et al. REF vidareutvecklade vidare en multi-scale neural patch syntesalgoritm som inte bara bevarar kontextuell struktur utan också producerar högfrekventa detaljer.
High-Resolution Image Inpainting Using Multi-scale Neural Patch Synthesis
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}