Bildöversättning mellan två domäner är en klass av problem som syftar till att lära sig kartlägga från en ingångsbild i källdomänen till en utgångsbild i måldomänen. Det har tillämpats på många tillämpningar, såsom dataförstärkning, domänanpassning och oövervakad utbildning. När parade träningsdata inte är tillgängliga blir bildöversättningen ett felplacerat problem. Vi begränsar problemet med antagandet att den översatta bilden måste vara perceptuellt lik den ursprungliga bilden och även verkar dras från den nya domänen, och föreslår en enkel men effektiv bildöversättningsmodell som består av en enda generator tränas med en självreglering term och en kontradiktorisk term. Vi noterar vidare att de befintliga bildöversättningstekniker är agnostiska för de ämnen av intresse och ofta införa oönskade förändringar eller artefakter till inmatningen. Därför föreslår vi att lägga till en uppmärksamhet modul för att förutsäga en uppmärksamhet karta för att vägleda bildöversättningsprocessen. Modulen lär sig att ta hand om viktiga delar av bilden samtidigt som allt annat förblir oförändrat, i huvudsak undvika oönskade artefakter eller förändringar. Omfattande experiment och utvärderingar visar att vår modell samtidigt som den är enklare uppnår betydligt bättre prestanda än befintliga bildöversättningsmetoder. Index Terms-konvolutionella neurala nätverk, domänanpassning, uppmärksamhet, bildöversättning, generativ modellering.
Yang m.fl. REF föreslår att lägga till en uppmärksamhetsmodul för att förutsäga en uppmärksamhetskarta för att vägleda bildöversättningsprocessen.
Show, Attend, and Translate: Unsupervised Image Translation With Self-Regularization and Attention
{'venue': 'IEEE Transactions on Image Processing', 'journal': 'IEEE Transactions on Image Processing', 'mag_field_of_study': ['Medicine', 'Mathematics', 'Computer Science']}