Med den senaste tidens framsteg i grafik, har det blivit mer dragbart att träna modeller på syntetiska bilder, potentiellt undvika behovet av dyra kommentarer. Att lära sig av syntetiska bilder kan dock inte uppnå önskad prestanda på grund av ett gap mellan syntetiska och verkliga bilddistributioner. För att minska detta gap föreslår vi Simulated+Oövervakad (S+U) inlärning, där uppgiften är att lära sig en modell för att förbättra realismen i en simulators utdata med hjälp av omärkta verkliga data, samtidigt som annotationsinformationen från simulatorn bevaras. Vi utvecklar en metod för S+U-inlärning som använder ett kontradiktoriskt nätverk som liknar Generative Adversarial Networks (GANS), men med syntetiska bilder som ingångar istället för slumpmässiga vektorer. Vi gör flera viktiga ändringar i standarden GAN algoritm för att bevara kommentarer, undvika artefakter, och stabilisera utbildning: (i) en "självreglering" term, (ii) en lokal kontrarimal förlust, och (iii) uppdatera discriminator med hjälp av en historia av förfinade bilder. Vi visar att detta möjliggör generering av mycket realistiska bilder, som vi demonstrerar både kvalitativt och med en användarstudie. Vi utvärderar kvantitativt de bilder som genereras av träningsmodeller för blickuppskattning och handuppskattning. Vi visar en betydande förbättring jämfört med att använda syntetiska bilder, och uppnå state-of-the-art resultat på MPIIGaze dataset utan någon märkt verkliga data.
Ett av de senaste verken, SimGAN REF, genererar realistiska syntetiska data för att förbättra ögon blick och hand pose uppskattning.
Learning from Simulated and Unsupervised Images through Adversarial Training
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}