En oöverträffad boom har bevittnats inom forskningsområdet konstnärlig stil överföring ända sedan Gatys et al. introducerade den neurala metoden. En av de återstående utmaningarna är att balansera en avvägning mellan tre kritiska aspekter-hastighet, flexibilitet och kvalitet: (i) vaniljoptimering-baserad algoritm producerar imponerande resultat för godtyckliga stilar, men är otillfredsställande långsam på grund av sin iterative natur, (ii) de snabba approximationsmetoder baserade på feed-forward neurala nätverk genererar tillfredsställande konstnärliga effekter men bundna till endast ett begränsat antal stilar, och (iii) funktionsmatchning metoder som AdaIN uppnå godtycklig stil överföring i realtid men till en kostnad för den kompromissade kvaliteten. Vi finner det mycket svårt att balansera kompromissen väl bara med ett enda steg framåt och frågar, istället, om det finns en algoritm som kan anpassa sig snabbt till vilken stil som helst, medan den anpassade modellen behåller hög effektivitet och god bildkvalitet. Motiverade av denna idé, föreslår vi en ny metod, myntad MetaStyle, som formulerar neural stil överföring som en tvånivå optimering problem och kombinerar lärande med bara några steg efter bearbetning uppdatering för att anpassa sig till en snabb approximation modell med tillfredsställande konstnärliga effekter, jämförbar med optimering-baserade metoder för en godtycklig stil. Den kvalitativa och kvantitativa analysen i experimenten visar att det föreslagna tillvägagångssättet leder till en effektiv överföring av godtycklig konstnärlig stil av hög kvalitet, med en god avvägning mellan snabbhet, flexibilitet och kvalitet.
Dilemmat mellan hastighet, flexibilitet och kvalitet hindrar vidareutvecklingen av stilöverföring.
MetaStyle: Three-Way Trade-Off Among Speed, Flexibility, and Quality in Neural Style Transfer
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}