I denna uppsats utforskar vi lärandet av neurala nätverk inbäddningar för naturliga bilder och tal vågformer som beskriver innehållet i dessa bilder. Dessa inbäddningar lärs direkt från vågformerna utan användning av språkliga transkriptioner eller konventionell taligenkänningsteknik. Medan tidigare arbete har undersökt denna inställning i ett enspråkigt fall med hjälp av engelska taldata, detta arbete representerar den första ansträngningen att tillämpa dessa tekniker på språk bortom engelska. Med taltexter samlade på engelska och hindi visar vi att samma modellarkitektur framgångsrikt kan tillämpas på båda språken. Vidare visar vi att utbildning av en flerspråkig modell samtidigt på båda språken ger bättre prestanda över de enspråkiga modellerna. Slutligen visar vi att dessa modeller är kapabla att utföra semantiska tvärspråkiga tal-till-tal hämtning. Index Terms-Vision och språk, oövervakad talbehandling, flerspråkig talsökning
Dessutom, lärande av neurala nätverk inbäddningar för naturliga bilder och tal vågformer som beskriver innehållet i dessa bilder utforskas REF.
Vision as an Interlingua: Learning Multilingual Semantic Embeddings of Untranscribed Speech
{'venue': '2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'journal': '2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'mag_field_of_study': ['Computer Science', 'Engineering']}