Den senaste tidens forskning har visat att ord som inbäddar utrymmen som lärts från textkorpora av olika språk kan anpassas utan någon parallell dataövervakning. Inspirerad av framgången med oövervakade tvärspråkiga ordinslag är vi i detta dokument inriktade på att lära oss en cross-modal anpassning mellan de inbäddade utrymmena för tal och text som lärts från korpora av deras respektive modaliteter på ett oövervakat sätt. Den föreslagna ramen lär sig det individuella talet och texten inbäddar utrymmen, och försöker anpassa de två utrymmena genom kontradiktorisk utbildning, följt av ett förfiningsförfarande. Vi visar hur vårt ramverk kan användas för att utföra talordsklassificering och översättning, och de experimentella resultaten av dessa två uppgifter visar att vår oövervakade anpassningsmetod är jämförbar med dess övervakade motsvarighet. Vårt ramverk är särskilt användbart för att utveckla automatisk taligenkänning (ASR) och tal-till-text översättningssystem för låg-eller noll-resurs språk, som har lite parallella ljud-text data för utbildning moderna övervakade ASR och tal-till-text översättning modeller, men står för majoriteten av de språk som talas över hela världen.
I REF används kontradiktorisk utbildning för att anpassa de akustiska och ortografiska vektorutrymmena.
Unsupervised Cross-Modal Alignment of Speech and Text Embedding Spaces
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Engineering']}