Vi tar itu med problemet med American Sign Language fingerspelling erkännande "i wild", med hjälp av videor som samlas in från webbplatser. Vi introducerar den största tillgängliga datamängden hittills för problemet med fingerstavsigenkänning, och den första med hjälp av naturligt förekommande videodata. Med hjälp av denna datauppsättning presenterar vi det första försöket att känna igen fingerspelningssekvenser i denna utmanande miljö. Till skillnad från tidigare arbete är våra videodata extremt utmanande på grund av låga bildhastigheter och visuell variation. För att ta itu med de visuella utmaningarna utbildar vi en speciell signeringshanddetektor med hjälp av en liten delmängd av våra data. Med tanke på handdetektorns utgång, avkodar en sekvensmodell den hypothesized fingerstavade bokstavssekvensen. För sekvensmodellen utforskar vi uppmärksamhetsbaserade återkommande kodare och CTC-baserade metoder. Som det första försöket till fingerspelning erkännande i det vilda, är detta arbete avsett att fungera som en bas för framtida arbete om teckenspråk erkännande under realistiska förhållanden. Som förväntat är felfrekvensen för bokstäver mycket högre än i tidigare arbete med mer kontrollerade data, och vi analyserar källorna till fel och effekter av modellvarianter. Index Terms-American Sign Language, fingerspelning, connectist temporal klassificering, uppmärksamhet modeller 2 Tvåhänt fingerspelning förekommer ibland, inklusive i våra data.
Den nyligen introducerade Chicago Fingerspeling i Wild (ChicagoFSWild) data set REF består av 7304 fingerspelning sekvenser från online-videor.
American Sign Language Fingerspelling Recognition in the Wild
{'venue': '2018 IEEE Spoken Language Technology Workshop (SLT)', 'journal': '2018 IEEE Spoken Language Technology Workshop (SLT)', 'mag_field_of_study': ['Computer Science']}