Vi föreslår ett system för teckenspråksöversättning baserat på uppskattning av mänskliga nyckelpunkter. Det är välkänt att många problem inom området datorseende kräver en massiv mängd dataset för att träna djupa neurala nätverksmodeller. Situationen är ännu värre när det gäller problemet med teckenspråksöversättning, eftersom det är mycket svårare att samla in utbildningsdata av hög kvalitet. I det här dokumentet introducerar vi KETI:s teckenspråksdataset som består av 11.578 videor med hög upplösning och kvalitet. Med tanke på att varje land har ett annat och unikt teckenspråk kan KETI:s teckenspråksdata vara utgångspunkten för ytterligare forskning om den koreanska teckenspråksöversättningen. Med hjälp av KETI teckenspråk dataset, utvecklar vi en neural nätverksmodell för att översätta teckenvideor till naturliga språk meningar genom att använda de mänskliga keypoints extraheras från ett ansikte, händer, och kroppsdelar. Den erhållna mänskliga nyckelpunkten vektor normaliseras genom medelvärdet och standardavvikelsen av nyckelpunkterna och används som indata till vår översättningsmodell baserat på sekvens-till-sekvens arkitektur. Som ett resultat av detta visar vi att vår strategi är robust även när storleken på träningsdata inte är tillräcklig. Vår översättningsmodell uppnår 94,6% (60,6% respektive) översättningsnoggrannhet på valideringsuppsättningen (testuppsättning) för 105 meningar som kan användas i nödsituationer. Vi jämför flera typer av våra neurala teckenöversättningsmodeller baserade på olika uppmärksamhetsmekanismer i termer av klassiska mått för att mäta översättningens prestanda.
Liknande arbete har gjorts för koreanska teckenspråk av REF där de introducerar KETI-datauppsättningen och uppskattar mänskliga keypoints för att extrahera glans, sedan använda sekvens-till-sekvens modeller för översättning.
Neural Sign Language Translation based on Human Keypoint Estimation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Engineering']}