Vi undersöker problemet med att översätta tal till text i scenarier med låga resurser där varken automatisk taligenkänning (ASR) eller maskinöversättning (MT) är tillgängliga, men vi har träningsdata i form av ljud parat med textöversättningar. Vi presenterar det första systemet för detta problem tillämpas på en realistisk multi-högtalare dataset, KALLHOME spansk-engelska talöversättning corpus. Vår strategi använder oövervakad term upptäckt (UTD) för att samla upprepade mönster i ljudet, skapa en pseudotext, som vi parar ihop med översättningar för att skapa en parallell text och träna en enkel påse-of-words MT modell. Vi identifierar de utmaningar som systemet står inför, och konstaterar att svårigheten med korshögtalare UTD resulterar i låg recall, men att vårt system fortfarande kan korrekt översätta vissa innehållsord i testdata.
Istället använde REF en oövervakad modell för att samla upprepade ljudmönster som används för att träna en påse med ord översättningsmodell.
Towards speech-to-text translation without speech recognition
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}