Neural stil överföring har dragit stor uppmärksamhet under de senaste åren. Men de flesta befintliga metoder syftar till att explicit modellera omvandlingen mellan olika stilar, och den lärda modellen är därför inte generalisable till nya stilar. Vi här försöker att separera representationer för stilar och innehåll, och föreslå en generaliserad stil överföring nätverk som består av stil kodare, innehåll kodare, mixer och dekoder. Stilen kodare och innehåll kodare används för att extrahera stil och innehållsfaktorer från stil referensbilder respektive innehåll referensbilder, respektive. Blandaren använder en bilinjär modell för att integrera ovanstående två faktorer och matar slutligen in den i en dekoder för att generera bilder med målstil och innehåll. För att separera stilfunktionerna och innehållsfunktionerna utnyttjar vi det villkorliga beroendet av stilar och innehåll som ges en bild. Under utbildningen lär sig kodarnätverket att extrahera stilar och innehåll från två uppsättningar referensbilder i begränsad storlek, den ena med delad stil och den andra med delat innehåll. Denna inlärning ram möjliggör samtidig stil överföring mellan flera stilar och kan betraktas som en särskild "multi-task" lärande scenario. De kodare förväntas fånga de underliggande funktionerna för olika stilar och innehåll som är generalizable till nya stilar och innehåll. För validering tillämpade vi den föreslagna algoritmen för det kinesiska typsnittsöverföringsproblemet. Omfattande experimentresultat på karaktärsgenerering har visat hur effektiv och robust vår metod är.
Forskare från Shanghai Jiaotong University och Microsoft föreslog en generaliserad stil överföring nätverksmodell som består av en stil kodare, en innehållskodare, en mixer och en dekoder för att generera bilder med målstil och innehåll REF.
Separating Style and Content for Generalized Style Transfer
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}