Den senaste tidens framsteg när det gäller visionsuppgifter (t.ex. segmentering) beror i hög grad på tillgången till storskaliga bildanteckningar i verkligheten som erhållits av besvärliga mänskliga arbetare. Dessutom sjunker perceptionsförmågan ofta avsevärt för nya scenarier, på grund av den dåliga generaliseringsförmågan hos modeller som är utbildade på begränsade och partiska annoteringar. I detta arbete tar vi till att överföra kunskap från automatiskt utförda scenanteckningar i virtuell värld för att underlätta verkliga visuella uppgifter. Även om virtual-world annoteringar kan vara idealiskt olika och obegränsade, diskrepant datadistributioner mellan virtuella och real-world gör det utmanande för kunskapsöverföring. Vi föreslår därför en ny Semantisk-medveten Grad-GAN (SG-GAN) för att utföra virtuell-till-verklig domänanpassning med förmågan att behålla vital semantisk information. Utöver den enkla holistiska färg/texture-transformation som uppnåtts genom tidigare verk, personaliserar SG-GAN utseendeanpassningen för varje semantisk region för att bevara sin nyckelkaraktär för bättre igenkänning. Den presenterar två huvudsakliga bidrag till traditionella GAN: 1) ett mjukt gradientkänsligt mål för att hålla semantiska gränser; 2) en semantisk-medveten discriminator för att bekräfta troheten av personliga anpassningar med avseende på varje semantisk region. Kvalitativa och kvantitativa experiment visar vår SG-Gan överlägsenhet i scenanpassning över toppmoderna GAN. Ytterligare utvärderingar av semantisk segmentering på Cityscapes visar med hjälp av anpassade virtuella bilder av SG-GAN dramatiskt förbättrar segmentering prestanda än ursprungliga virtuella data. Vi släpper vår kod på https://github.com/Peilun-Li/SG-GAN.
SG-GAN REF är utformad för att automatiskt överföra scenen annotation i virtuell värld för att underlätta verkliga visuella uppgifter.
Semantic-aware Grad-GAN for Virtual-to-Real Urban Scene Adaption
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}