Sketch + Färg Genererade resultat Figur 1. En användare kan skissa och klottra färger för att kontrollera djup bildsyntes. Till vänster är en bild som genereras från en handritad skiss. Till höger har flera objekt tagits bort från skissen, en vas har lagts till, och färgen på olika scenelement har begränsats av glesa färgdrag.  Nyligen har det funnits flera lovande metoder för att generera realistiska bilder från djupa konvolutionsnätverk. Dessa metoder kringgår den traditionella datorgrafik rendering pipeline och istället generera bilder på pixelnivå genom att lära sig från stora samlingar av foton (t.ex. ansikten eller sovrum). Dessa metoder är dock av begränsad nytta eftersom det är svårt för en användare att kontrollera vad nätet producerar. I detta papper, föreslår vi en djup kontraversariell bildsyntes arkitektur som är betingad på skisserade gränser och glesa färgdrag för att generera realistiska bilar, sovrum, eller ansikten. Vi demonstrerar ett skissbaserat bildsyntessystem som tillåter användare att klottra över skissen för att indikera önskad färg för objekt. Vårt nätverk kan då generera övertygande bilder som uppfyller både färg och skiss begränsningar användaren. Nätverket är feed-forward vilket gör det möjligt för användare att se effekten av sina redigeringar i realtid. Vi jämför med det senaste arbetet med skiss med bildsyntes och visar att vårt arbetssätt kan generera mer realistiska, mer mångsidiga och mer kontrollerbara resultat. Arkitekturen är också effektiv vid användarstyrd färgning av gråskala bilder.
Sangkloy m.fl. REF tog ett steg mot mer kontrollerbar syntes genom att lära sig att generera bilder från indata handritade skisser och ytterligare indata glesa färgdrag.
Scribbler: Controlling Deep Image Synthesis with Sketch and Color
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}