End-to-end Speech Translation (ST) modeller har många potentiella fördelar jämfört med kaskaden av automatisk taligenkänning (ASR) och text Machine Translation (MT) modeller, inklusive sänkt inference latency och undvikande av fel kompilering. Kvaliteten på end-to-end ST begränsas dock ofta av bristen på träningsdata, eftersom det är svårt att samla in stora parallellkorpora av tal och översatta transkript par. Tidigare studier har föreslagit användning av förträngda komponenter och lärande med flera arbetsuppgifter för att dra nytta av dåligt övervakade utbildningsdata, såsom tal-totranskript eller text-till-utländska-text par. I detta dokument visar vi att användning av förtränade MT- eller text-till-tal-syntesmodeller (TTS) för att omvandla svagt övervakade data till tal-till-translation par för ST-utbildning kan vara mer effektivt än multi-task lärande. Dessutom visar vi att en end-to-end ST-modell av hög kvalitet kan tränas med endast svagt övervakade datauppsättningar och att syntetiska data från omärkt enspråkig text eller tal kan användas för att förbättra prestandan. Slutligen diskuterar vi metoder för att undvika överpassning till syntetiskt tal med en kvantitativ ablation studie.
REF använder förtränade MT- och text-to-talsyntesmodeller (TTS) för att omvandla svagt övervakade data till ST-par och visa att en end-to-end MT-modell kan tränas med endast syntesdata.
Leveraging Weakly Supervised Data to Improve End-to-end Speech-to-text Translation
{'venue': 'ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'journal': 'ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'mag_field_of_study': ['Computer Science', 'Engineering']}