En ny metod föreslås för att ta bort text från naturliga bilder. Utmaningen är att först exakt lokalisera texten på stroke-nivå och sedan ersätta den med en visuellt rimlig bakgrund. Till skillnad från tidigare metoder som kräver bildlappar för att radera scentext, vår metod, nämligen ensconce nätverk (EnsNet), kan driva end-to-end på en enda bild utan föregående kunskap. Den övergripande strukturen är en end-to-end trainingable FCN-ResNet-18-nätverk med en villkorlig generativ adversarial nätverk (cGN). Funktionen hos den förra förstärks först av en ny lateral anslutningsstruktur och förfinas sedan av fyra noggrant utformade förluster: flerskalig regressionsförlust och innehållsförlust, som fångar den globala skillnaden mellan olika nivåfunktioner; texturförlust och total variationsförlust, som främst syftar till att fylla textregionen och bevara verkligheten i bakgrunden. Det senare är en ny lokalt känslig GAN, som uppmärksamt bedömer den lokala konsekvensen i texten raderade regioner. Både kvalitativa och kvantitativa känslighet experiment på syntetiska bilder och ICDAR 2013 dataset visar att varje komponent i EnsNet är avgörande för att uppnå en bra prestanda. Dessutom kan vårt EnsNet betydligt överträffa tidigare state-of-the-art metoder i termer av alla mätvärden. Dessutom visar ett kvalitativt experiment som utförs på SMBNet dataset ytterligare att den föreslagna metoden också kan förforma väl på allmänna objekt (såsom fotgängare) borttagning uppgifter. EnsNet är extremt snabb, som kan förforma vid 333 fps på en i5-8600 CPU-enhet.
Zhang m.fl. REF tillämpade ett villkorligt generativt kontradiktoriskt nätverk (cGAN) för att ta bort text för en hel bild.
EnsNet: Ensconce Text in the Wild
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}