Vi presenterar en enkel metod för att förbättra direkt tal-till-text översättning (ST) när källspråket är låg-resurs: vi pre-trainear modellen på en hög-resurs automatisk taligenkänning (ASR) uppgift, och sedan finjustera dess parametrar för ST. Vi visar att vår strategi är effektiv genom förutbildning på 300 timmar av engelska ASR-data för att förbättra spanska-engelska ST från 10.8 till 20.2 BLEU när endast 20 timmar av spansk-engelska ST utbildningsdata finns tillgängliga. Genom en ablation studie, finner vi att den förtränade kodaren (akustisk modell) står för det mesta av förbättringen, vilket är förvånande eftersom det delade språket i dessa uppgifter är målspråket (text), och inte källspråket (audio). Genom att tillämpa denna insikt visar vi att förutbildning på ASR hjälper ST även när ASR-språket skiljer sig från både käll- och målspråk: förutbildning på franska ASR förbättrar också spansk-engelska ST. Slutligen visar vi att tillvägagångssättet förbättrar en verklig lågresursuppgift: förutbildning om en kombination av engelsk ASR och fransk ASR förbättrar Mboshi-Franska ST, där endast 4 timmars data finns tillgängliga, från 3,5 till 7,1 BLEU.
REF visar att förutbildning av en talkodare på ett språk kan förbättra ST-kvaliteten på ett annat källspråk.
Pre-training on high-resource speech recognition improves low-resource speech-to-text translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}