Miljoner hörselskadade människor runt om i världen använder rutinmässigt vissa varianter av teckenspråk för att kommunicera, och därför är automatisk översättning av ett teckenspråk meningsfullt och viktigt. För närvarande finns det två underproblem i Sign Language Recognition (SLR), dvs isolerad SLR som erkänner ord för ord och kontinuerlig SLR som översätter hela meningar. Befintliga kontinuerliga SLR-metoder använder vanligtvis isolerade SLRs som byggstenar, med ett extra lager av förbehandling (temporell segmentering) och ett annat lager efter bearbetning (sentenssyntes). Tyvärr är temporal segmentering i sig icke-trivial och oundvikligen sprider fel i efterföljande steg. Ännu värre, isolerade SLR-metoder kräver vanligtvis ansträngande märkning av varje ord separat i en mening, kraftigt begränsa mängden uppnåeliga träningsdata. För att ta itu med dessa utmaningar föreslår vi en ny ram för kontinuerligt teckenigenkänning, det hierarkiska uppmärksamhetsnätverket med Latent Space (LS-HAN), som eliminerar förbehandlingen av tidssegmentering. Den föreslagna LS-HAN består av tre komponenter: en två-ströms Convolutional Neural Network (CNN) för video funktion representation generation, en Latent Space (LS) för semantiska gap överbryggande, och en Hierarkical Uppmärksamhet Network (HAN) för latent utrymme baserad erkännande. Experiment utförs på två storskaliga datauppsättningar. Experimentella resultat visar att den föreslagna ramen är effektiv.
Huang m.fl. föreslog ett hierarkiskt uppmärksamhetsnätverk med latent utrymme (LS-HAN) för kontinuerlig CSL-igenkänning REF.
Video-based Sign Language Recognition without Temporal Segmentation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}