Hand gest-till-gesur översättning i det vilda är en utmanande uppgift eftersom handgester kan ha godtyckliga poser, storlekar, platser och självocklusioner. Därför kräver denna uppgift en hög nivå förståelse av kartläggningen mellan inmatningskällan gest och utdata mål gest. För att ta itu med detta problem föreslår vi en ny hand Gesture Generative Adversarial Network (Ges-tureGAN). GestureGan består av en enda generator G och en discriminator D, som tar som ingång en villkorlig hand bild och en målhand skelett bild. GestureGAN använder handen skelettinformation explicit, och lär gest-till-gesture kartläggning genom två nya förluster, färgförlust och cykelkonsistens förlust. Den föreslagna färgförlust hanterar frågan om "kanalföroreningar" medan bakåt-förstärka lutningar. Dessutom presenterar vi Fréchet ResNet Distance (FRD) för att utvärdera kvaliteten på genererade bilder. Omfattande experiment på två allmänt använda referensdatauppsättningar visar att den föreslagna Gesture-Gan uppnår state-of-the-art prestanda på den okonstruerade hand gest-to-gesture översättning uppgift. Samtidigt, de genererade bilderna är i hög kvalitet och är fotorealistiska, vilket gör att de kan användas som dataförstärkning för att förbättra prestandan för en hand gest klassificerare. Vår modell och kod finns på https://github.com/Ha0Tang/GestureGAN.
GestureGAN REF föreslår en ny färgförlust för att förbättra den utgående bildkvaliteten och för att producera skarpare resultat.
GestureGAN for Hand Gesture-to-Gesture Translation in the Wild
{'venue': "MM '18", 'journal': None, 'mag_field_of_study': ['Computer Science']}