Inom det framväxande tvärvetenskapliga området konst och bildbehandling har algoritmer utvecklats för att underlätta analysen av konstverk. I de flesta applikationer, särskilt borste stroke analys, höga upplösning digitala bilder av målningar krävs för att fånga subtila mönster och detaljer i hög frekvens spektrum. Algoritmer har utvecklats för att lära stilar av målare från deras digitaliserade målningar för att hjälpa till att identifiera äktheten av kontroversiella målningar. Högkvalitativa testdata som innehåller både original- och förfalskningar är dock begränsade till konfidentiella bildfiler som tillhandahålls av museer, som inte är allmänt tillgängliga, och en liten uppsättning original- och kopieringsmålningar målade av samma konstnär, där kopior sköts upp till två veckor efter att originalen var färdiga. Hittills har ingen syntetiserad målning av datorer från en riktig målning använts som ett negativt test fall, främst på grund av begränsningen av rådande stil överföring algoritmer. Det finns två huvudsakliga typer av stil överföring algoritmer, antingen överföra tonen (färg, kontrast, mättnad, etc.) av en bild, bevara dess mönster och detaljer, eller förvränga texturen jämnt av en bild för att skapa "stil". I detta papper är vi intresserade av en högre nivå av stil överföring, särskilt, överföra en källa naturlig bild (t.ex. ett foto) till en högupplöst målning med en referensmålning av liknande objekt. Den överförda naturliga bilden skulle ha en liknande presentation av det ursprungliga objektet som referensmålningen. I allmänhet målas ett objekt i en annan stil av penseldrag än bakgrunden, därför den önskade stil överföra algoritmen bör kunna känna igen objektet i källans naturliga bild och överföra penseldrag stilar i referensmålningen på ett innehållssäkert sätt så att stilarna i förgrunden och bakgrunden, och dessutom olika delar av förgrunden i den överförda bilden, är konsekvent med det i referensmålningen. Nyligen har en algoritm baserad på djupa konvolutionella neurala nätverk utvecklats för att överföra konstnärlig stil från en konst målning till ett foto [2]. Framgångsrik som det är i att överföra stilar från impressionistiska målningar av konstnärer som Vincent van Gogh till bilder av olika scener, algoritmen är benägna att snedvrida strukturen på innehållet i källbilden och införa artefakter / nya 1 arXiv:1601.04568v1 [cs.CV] 18 Jan 2016 innehåll i bakgrunden av den överförda bilden. Vi undersöker villkor och metoder för att förbättra denna neurala stil överföring algoritm för att vara innehållsmedvetna tillsammans med målet att syntetisera en hög upplösning målning i mer realism stil. Deep convolutional neural network (CNN) har i stor utsträckning tillämpats på olika bildbehandling efter dess initiala framgång i bildklassificering av ImageNet [1]. Ett CNN består vanligtvis av en sekvens av uppsättningar av konvolutionslager följt av icke-linjär likriktare och lokal poolning. I likhet med klassisk bildbehandling utför varje konvolutionslager linjär rumslig filtrering på indataavbildningen eller utdatafunktionskartorna från föregående lager; den lokala sammanslagningen av prover av rumslig information som liknar dyadisk nedsampling i klassisk dekomposition av bilder. Å andra sidan gör den icke-linjäritet som införts av likriktaren det möjligt för CNN att approximera komplicerade icke-linjära transformer, mappa bilder till ett funktionsutrymme där olika klasser av bilder blir linjärt åtskilda. CNN:s djup är proportionellt mot kapaciteten hos det funktionsutrymme som kan approximeras, vilket innebär att ett djupare CNN är mer "expressivt" än ett grundare, som kodar mer funktionsinformation för bildklasser. På grund av den rikedom av funktioner som en djup CNN kan ha, har förtränade CNN-modeller på massiva datauppsättningar som ImageNet med hög noggrannhet i bildklassificeringen använts som funktionskartläggningar från bilddomän till abstrakta funktionsytor för annan bildbehandling. I synnerhet, neural stil överföring algoritm i [2] är baserad på VGG-Network (VGG-Net) [5], en nästan mänsklig prestanda djup CNN modell i bildigenkänning. Med tanke på en ingångsbild x, låt f l,k (x) vara utdata N l dimensional funktion karta 1 av VGG-Net vid l th lagret och k th filtret, där N l är storleken på motsvarande rumsliga rutnät, då neural stil överföring formuleras som följande optimering problem, där x c är källan (innehåll) bild, x s är referensmålning (stil bild) och x * är stil överförd källbild. Den första termen i (1) straffar skillnaden mellan funktionen vektorer av källbild och överförd bild på en uppsättning lager L c i VGG-Net, så att innehållet i dessa två bilder är 1 är samma som termen filter svar som används i [2] 2 nära. För att mäta närheten av stilar, den andra termen innebär kovariansen av funktionskartor f l,· motsvarar olika filter på ett fast lager l i uppsättningen L s viktas av w l. Denna formulering används också i en annan nära besläktade neural algoritm för textursyntes [3], där endast en textur (stil) bild används för att generera en syntetisk bild som presenterar liknande textur. I stilöverföringsalgoritmen väljs uppsättningarna av begränsningslager som L c : conv4 2 och L-stil s : conv1_1,conv2_1,conv3_1,conv4_1,conv5_1. I textursyntesalgoritmen L txtr s : conv1_1,pool1,conv2_1,pool2,conv3_1,pool3,conv4_ 1,pool4. Vi skjuter upp jämförelsen av dessa två inställningar av begränsningslager till diskussionen om metoder i nästa avsnitt. Vi föreslår en innehållsmedveten neural stil överföring algoritm baserad på ramen för (1). Vi presenterar först basalgoritmen för det enkla fallet där källinnehållsbilden och referensstilsbilden har samma upplösning. Algoritmen generaliseras sedan till fallet där innehållsbilden är i lägre upplösning än stilbilden. Utgången av vår algoritm är en syntetiserad målning som kunde ha målats av samma målare av referensmålningen från innehållsbilden. Vi utgår alltid från att innehållsbilden (foto) och stilbilden (målningen) innehåller liknande objekt för att minimera tvetydigheten i hur den genererade målningen ska se ut. För varje lager l i nätverket, låt s l = N l‐1 /N l vara skalfaktorn för det lagret. För ett konvolutionslager är skalfaktorn 1; för ett poolningsskikt är skalfaktorn dess kärnstorlek. Därför, skalan av funktioner som kännetecknas på nivå l är σ l = s 1 · · · s l. Specifikt, ett konvolutionellt lager har samma funktionsskala som det sista pooling skiktet framför det, och det slutliga pooling skiktet har den maximala funktionsskalan i ett nätverk. Det observeras i både [3] och [2] att en textur bild kan syntetiseras genom att passa covariansen av funktionskartor f l,· på lager l  på L s, nämligen minimera den andra termen i (1) med slumpmässig initiering. Dessutom är den genererade texturen bilden rumsligt enhetlig och den representerar liknande struktur referens stil bild på skalor stil lager L s. I stil överföring [2] och textur syntes [3], olika stil lager L s används, men skalorna av dessa lager är samma, nämligen 1, σ pool1, σ pool2, σ pool3 och σ pool4. Genom att använda lager på olika skalor genomdrivs gemensamt en hierarkisk strukturell begränsning av texturen i den syntetiserade bilden. Med tanke på en referens stil bild vars struktur är på skala σ s, Det är dess energi koncentrerad inom en cirkel med radien σ −1 s centrerad på ursprunget till frekvensspektrumet, L s bör innehålla lager på skala större än σ s för att behålla full textur mönster. Även om en begränsning av L s till lager på mindre skala än σ s resulterar i mindre tillfredsställande resultat, statistiken över referens stil mönster på finare skalor bevaras fortfarande i den genererade bilden. I själva verket en stil mönster på skala σ s består 3 av sub-mönster på finare skalor, såsom färg prickar, singel eller grupp av penseldrag, etc. Därför, bevara statistik av L s = {conv1_1} resulterar i en syntetiserad stil bild består av färg prickar, där delen av områden i olika färger är ungefär samma som i referensbilden, se resultat i [2] och [3]. Mer allmänt, sub-mönster på skala σ l, l  på L s bevaras i den syntetiserade bilden, som är en omarrangemang av sammansättningen av referens stil bild på okonstruerade skalor. Tillsammans med det faktum att VGG-Net inte är rotation invariant, denna insikt av omarrangemang leder till ett viktigt villkor på inmatningen innehållsbilden och stilen bilden för innehåll-medveten stil överföring: objektet i innehållsbilden och att i stilen bilden bör vara i samma orientering och i samma relativa skala till bildstorlek, som också är numeriskt validerad i avsnitt Experiment. I motsats till samverkande multi-scale stil lager begränsningar, ett enda djupt lager används vanligtvis i innehållsrestriktion. Som diskuteras i [2], utdatafunktionskartor från ett grunt lager i VGG-Net är mycket överflödig och tillräcklig för att rekonstruera indatabilden. Likheten mellan rekonstruktionen och indatabilden minskar i takt med att det lager vars utdatakartor begränsas blir djupare. Välja ett grundt innehållsskikt (t.ex. conv2_1) ger alltså inte mycket frihet att överföra innehållsbilden till en ny stil, medan man väljer ett mycket djupt innehållsskikt (t.ex. conv5_1) inte bestraffar stor distorsion av objekt i den syntetiserade bilden. Under [2] används conv4_2 som innehållslagerrestriktion tillsammans med slumpmässig initiering av optimeringen (1). Detta val av innehåll lager fungerar bra för obestämd stil överföring där stilen och innehållet är nästan oberoende. Eftersom vikten λ före stilstrafftermen i (1) ändras, varierar resultatet syntetiserade bilden från att presentera mycket liknande objekt i innehållsbilden med minimal fusion av referensstilen till att visa endast referensstilen utan kunskap om innehållet. Men helt enkelt justera λ ger inte en syntetiserad bild som behåller adekvat information i både innehåll och stil, vilket krävs i innehåll-medveten stil överföring. För att lösa detta problem vid överföring av innehållsmedveten stil initierar vi optimeringsalgoritmen med en bild nära innehållsbilden istället för en slumpmässig bild. Det är väl känt att optimering på djupa neurala nätverk som (1) med hjälp av stokastisk lutning nedstigning uppnår lokalt minimum därmed från en bild nära innehållet bilden sätter en stark före det slutliga optimeringsresultatet. Å andra sidan, denna förändring av initiering försämrar stil begränsningen som den potentiella barriären mellan den ursprungliga punkten och uppsättningen av punkter (bilder) Is i referensstil är högre än den mellan I s och en slumpmässig punkt. I numeriska experiment, Vi observerar att lösa (1) med fast λ, och samma L s, L c som används i [2], den syntetiserade bilden är mycket mer lik innehållet bilden om initieras med innehållsbilden än med slumpmässig initiering. Därför förstärker vi stilrestriktionen och försvagar innehållspåföljden i (1) genom att ställa in L s : conv1_1, pool1, conv2_1, pool2, conv3_1, pool3, conv4_1, pool4, conv5_1 och L c : conv5_2, där L s innehåller lager på alla skalor och L c innehåller ett lager i grov skala. Som λ → ∞, (1) degenererade till textursyntesen formulering. Så länge vi inte initierar slumpmässigt och håller en mild bestraffning på innehållet i den objektiva funktionen, kombinerar resultatbilden helt stil och innehåll från ingångarna. I detta avsnitt visar vi stil överföring algoritmer med olika konfigurationer av stil lager L s, innehåll lager L c, optimering vikt parameter λ, initialisering och ingång anpassning. Vi visar först resultat på samma upplösning stil överföring, där stil mönstret för indata stil bilden är i nästan samma upplösning som i innehållsbilden. Baserat på den bästa konfigurationen för innehållsmedveten stil överföring i detta enklare fall, diskuterar vi sedan dess förlängning till super-upplösning fallet, där stil mönstret för indata stil bilden är i mycket högre upplösning än i innehållsbilden. I följande numeriska experiment har ett par av innehållsbilden och stilbilden som visas i bild 1 använts. Den stil bild är en högupplöst scan av en riktig målning av en surrande fågel av Charlotte Caspers, 2 och det är tillgängligt att ladda ner på http://services.math.duke.edu/~rachel/charlotte_new2/ 2 denna målning är vald från en samling målningar målade av Charlotte Caspers under 2012, tjänade som en offentlig forskning dataset för digital konst äkthetsanalys. Datasetet finns tillgängligt på http://services.math.duke.edu/~rachel/resources/charlotte2012.html På grund av storleken på indatainnehållsbilden och stilbilden och begränsningen av vår beräkningsresurs är det omöjligt att direkt ta innehållsbilden och stilbilden som indata och syntetisera en format överförd bild. För att förstå de potentiella problemen med att tillämpa den ursprungliga stilöverföringsalgoritmen på den fullständiga innehållsbilden och stilbilden kör vi algoritmen på inmatningsbilder av reducerad storlek (512 × 503). Resultatet visas i bild 2, där bakgrunden inte är väl syntetiserad och färgen på kroppen av surrande fågel är inte nära det i målningen. Dessa problem är inte relaterade till upplösningen av indata bilder, men de är nära relaterade till initiering som vi kommer att visa nedan, som vi kommer att visa i experiment av samma upplösning stil överföring. För att skapa syntetiserad bild av samma upplösning av den ingående bilden, är innehållsbilden segmenterad i större delar såsom huvud, kropp, svans och vingar, se bild. 3............................................................... Varje del överlappar med dess intilliggande delar så att en full storlek överförd bild kan rekonstrueras genom att slå samman den syntetiserade bilden på delar. Förgrundsobjektet i målningen är segmenterat i delar och därmed innehållsbilden. De segmenterade delarna i båda bilderna är i samma relativa rumsliga konfiguration förutom att för del (f), den sekundära vingen i innehållsbilden, matchas med en delregion av del (c), den stora vingen i stilbilden för bättre konsistens. Vi fokuserar alltså på innehållsmedveten stil överföring på varje del i stället för den fullständiga bilden i våra experiment. Målet med samma upplösning stil överföring är att överföra stil mönstret från stilen bilden i sin ursprungliga upplösning till innehållsbilden. Dessutom, när stilen är innehållsberoende, t.ex. borsten stroke och trä korn mönster i bakgrunden skiljer sig från den pensel stroke som används för att avbilda förgrundsobjekt, algoritmen bör överföra bakgrundsmönstret till bakgrunden av Vi visar först nödvändigheten av inmatning anpassning och icke-slumpmässig initiering. Överväg att överföra stil på del a, fågelns huvud. a-1 och a-2 i bild 4 beskärs del (a) från den fullständiga innehållsbilden respektive stilbilden. Skillnaden mellan detaljerade funktioner mellan a-1 och a-2 visas i de mittersta kolumnerna i bild 4. Målningen fångar inte särskilt fina detaljer i fotot, till exempel den rosa klumpen på näbbspetsen och fjädervenen på huvudet. Förutom den lokala olikheten i struktur är de två indatabilderna inte globalt inriktade i samma riktning. För inmatning med justering använder vi a-1' i bild4 som innehållsbild tillsammans med a-2 i vårt experiment. Vi anser att följande fyra konfigurationer lösa (1), (iii) textur förbättras med inmatning anpassning, vilket är samma som (ii) men använda en-1' i stället för en-1 som innehållsbild, (iv) innehåll-medveten stil överföring utan inmatning anpassning, (v) innehåll-medveten stil överföring, vår föreslagna konfiguration. Bild 5 visar resultaten och en tabell över dessa fyra konfigurationer. Som visas i bild 5, Resultaten med slumpmässig initiering, den första till tredje raden, lider av ojämn belysning i bakgrunden trots skillnaden i stil begränsning och inmatning anpassning. Detta beror på att mångfalden av funktionskartor, som kodar stilinformation, uppskattas globalt över hela bilden i (1) inte skilja förgrunden och bakgrunden. Eftersom stilstrafftermen inte är innehållsmedveten kan förgrundens stil och bakgrunden i den syntetiserade bilden blandas. I synnerhet bakgrunden till målningen är enhetlig av liten varians, och den av 7 Figur 4: a-1: del a av innehållsbilden, a-2: del a av stilbilden, a-1': roterade en-1 i samma riktning som a-2; andra kolumnen: en zoomad i patch längst upp till vänster om huvudet; tredje kolumnen: en zoomad i patch av näbben; fjärde kolumnen i nedre raden: en zoomad i bakgrund patch i a-2. syntetiserad bild har större varians på grund av begränsningen på variansen av färgkanaler i stil lager L s främst bidragit av förgrundsobjektet i målningen. Därför är den rumsliga informationen i den ursprungliga punkten en stark legalisering, och de resultat som initieras med innehållsbilderna har enhetlig belysning i backgrunden som i stilbilden. Resultaten med indatajustering (dvs. Använda a-1' och a-2 som ingång), den tredje och femte raden, har bättre borst stroke simulering än de utan inriktning (dvs. användning av a-1 och a-2 som indata). I synnerhet riktning borstdrag av näbben anpassas i samma riktning av näbben när ingångarna är i linje, men inte när feljusterade, se den tredje kolumnen i bild 5. Detta beror på det faktum att VGG-Net inte är rotation-invariant och samma objekt med olika orienteringar kodas i olika filterkanaler i skikten i nätverket, särskilt i de grunda skikten, där funktionsinformation inte är mycket aggregerad. När innehållet överensstämmer med innehållsbilden kan det inte bestå av stilbilden, så är deras funktionskartor i grunda lager, om inte båda indatabilderna är i samma riktning. Å andra sidan kan de grunda skikten inte tappas från L s för ombyggnad av texturen i fin skala. Dessutom, inklusive pooling lager i L s hjälper till att förbättra texturer från stilbilden och minska fina detaljer från innehållsbilden i den syntetiserade bilden. Se första och andra raden i bild 5 för jämförelse av grundläggande konfiguration och den texturförstärkta konfigurationen. När style-överföringsalgoritmen initieras med innehållsavbildningen, begränsar detta starka föregående innehåll algoritmens sökområde i bildrymden. För att säkerställa att en bra stil-överförd bild är möjlig, är det nödvändigt att försvaga innehållet begränsning term i (1) och ställa L c till ett djupare lager på en
Yin REF introducerade en innehållsmedveten algoritm för att generera en högupplöst realistisk målning.
Content Aware Neural Style Transfer
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}