Det senaste arbetet har börjat utforska neurala akustiska ord inbäddningar-fixeradedimensionella vektor representationer av godtyckliga-längd talsegment som motsvarar ord. Sådana inbäddningar är tillämpliga på talhämtning och erkännande uppgifter, där resonemang om hela ord kan göra det möjligt att undvika tvetydiga underord representationer. Huvudidén är att kartlägga akustiska sekvenser till fasta-dimensionella vektorer så att exempel på samma ord avbildas till liknande vektorer, medan exempel på olika ord avbildas till mycket olika vektorer. I detta arbete tar vi ett multi-view tillvägagångssätt för att lära akustiska ord inbäddningar, där vi gemensamt lär oss att bädda in akustiska sekvenser och deras motsvarande teckensekvenser. Vi använder djupt dubbelriktade LSTM inbäddade modeller och multi-vy kontrasterande förluster. Vi studerar effekten av olika förlustvarianter, inklusive fasta marginaler och kostnadskänsliga förluster. Vårt akustiska ord inbäddar förbättra jämfört med tidigare tillvägagångssätt för uppgiften att orddiskriminering. Vi presenterar också resultat om andra uppgifter som möjliggörs av multi-view-metoden, inklusive korsvisa orddiskriminering och ordlikviditet.
Att ingjuta korsmodala (akustiska och ortografiska) avbildningar av ord i inbäddningsmodellen visade förbättringar i en uppsjö av tillämpningar; till exempel lärde sig REF gemensamt att inbädda akustiska sekvenser och deras respektive karaktärssekvenser i ett gemensamt vektorutrymme med hjälp av djup tvåvägslångt korttidsminne (LSTM) inbäddade modeller och kontrasterande förluster i multivyer.
Multi-view Recurrent Neural Acoustic Word Embeddings
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}