De senaste framstegen i djupa neurala nätverk har på ett övertygande sätt visat hög förmåga att lära sig synmodeller på stora datauppsättningar. Icke desto mindre är insamling av expertmärkta dataset, särskilt med pixel-nivå annoteringar, en extremt dyr process. Ett tilltalande alternativ är att göra syntetiska data (t.ex. dataspel) och generera marksanning automatiskt. Att helt enkelt tillämpa de modeller som lärs på syntetiska bilder kan dock leda till höga generaliseringsfel på verkliga bilder på grund av domänskifte. I detta dokument underlättar vi denna fråga både ur perspektivet visuellt utseende-nivå och representationsnivå domänanpassning. Den förra anpassar källdomänbilder till att visas som om de är hämtade från "stilen" i måldomänen och den senare försöker lära sig domäninvarianta representationer. Särskilt presenterar vi helt konvolutionella anpassningsnätverk (FCAN), en ny djup arkitektur för semantisk segmentering som kombinerar Utseende anpassningsnätverk (AAN) och representation anpassningsnätverk (RAN). AAN lär sig en omvandling från en domän till en annan i pixelrymden och RAN optimeras på ett kontradiktoriskt sätt för att maximalt lura domändiskriminatorn med de inlärda käll- och målrepresentationerna. Omfattande experiment utförs på överföringen från GTA5 (spelvideor) till Cityscapes (stadsgata scener) på semantisk segmentering och vårt förslag uppnår överlägsna resultat när man jämför med state-of-theart oövervakade anpassningstekniker. Mer anmärkningsvärt får vi en ny skiva: MILU på 47,5 % på BDDS (drivecam videos) i en oövervakad miljö.
På liknande sätt uppnår FCAN bildöversättningen genom att kombinera bildinnehållet i källdomänen och "stilen" från måldomänen REF.
Fully Convolutional Adaptation Networks for Semantic Segmentation
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}