Vi presenterar en återkommande encoder-dekoder djup neurala nätverk arkitektur som direkt översätter tal på ett språk till text i ett annat. Modellen transkriberar inte uttryckligen talet till text i källspråket, och kräver inte heller övervakning från den grundläggande sanningens källa språk transkription under utbildningen. Vi tillämpar en något modifierad sekvens-till-sekvens med uppmärksamhet arkitektur som tidigare har använts för taligenkänning och visar att det kan återanvändas för denna mer komplexa uppgift, vilket illustrerar kraften i uppmärksamhet-baserade modeller. En enda modell utbildad end-to-end får toppmodern prestanda på Fisher Callhome spansk-engelska talöversättning uppgift, överträffar en kaskad av oberoende utbildade sekvens-till-sekvens taligenkänning och modeller maskinöversättning med 1,8 BLEU poäng på Fisher test uppsättningen. Dessutom finner vi att användning av utbildningsdata på båda språken genom multi-task utbildning sekvens-till-sekvens talöversättning och igenkänning modeller med en delad kodare nätverk kan förbättra prestanda med ytterligare 1,4 BLEU poäng.
REF överträffar en kaskadmodell med hjälp av en liknande arkitektur som en uppmärksamhetsbaserad ASR-modell.
Sequence-to-Sequence Models Can Directly Transcribe Foreign Speech
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}