Gatys m.fl. nyligen infört en neural algoritm som gör en innehållsbild i stil med en annan bild, uppnå så kallad stil överföring. Deras ramverk kräver dock en långsam iterativ optimeringsprocess, som begränsar dess praktiska tillämpning. Snabb approximationer med feed-forward neurala nätverk har föreslagits för att påskynda neural stil överföring. Tyvärr kommer hastighetsförbättringen till en kostnad: nätverket är vanligtvis knuten till en fast uppsättning stilar och kan inte anpassa sig till godtyckliga nya stilar. I detta dokument presenterar vi en enkel men effektiv strategi som för första gången möjliggör godtyckliga stilöverföringar i realtid. I hjärtat av vår metod är en ny adaptiv instans normalisering (AdaIN) skikt som anpassar medelvärdet och variansen av innehållsfunktioner till de av stilfunktionerna. Vår metod uppnår hastighet jämförbar med den snabbaste befintliga metoden, utan begränsning till en fördefinierad uppsättning stilar. Dessutom tillåter vår strategi flexibla användarkontroller såsom innehåll-stil kompromiss, stil interpolation, färg och rumsliga kontroller, alla med hjälp av en enda feed-forward neurala nätverk.
AdaIN REF beräknar direkt affine-parametrarna från stilfunktionen och anpassar medelvärdet och variansen för innehållsfunktionen till de för stilfunktionen.
Arbitrary Style Transfer in Real-Time with Adaptive Instance Normalization
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}