Vi presenterar en återkommande encoder-dekoder djup neurala nätverk arkitektur som direkt översätter tal på ett språk till text i ett annat. Modellen transkriberar inte uttryckligen talet till text i källspråket, och kräver inte heller övervakning från den grundläggande sanningens källa språk transkription under utbildningen. Vi tillämpar en något modifierad sekvens-till-sekvens med uppmärksamhet arkitektur som tidigare har använts för taligenkänning och visar att det kan återanvändas för denna mer komplexa uppgift, vilket illustrerar kraften i uppmärksamhet-baserade modeller. En enda modell utbildad end-to-end får toppmodern prestanda på Fisher Callhome spansk-engelska talöversättning uppgift, överträffar en kaskad av oberoende utbildade sekvens-till-sekvens taligenkänning och modeller maskinöversättning med 1,8 BLEU poäng på Fisher test uppsättningen. Dessutom finner vi att användning av utbildningsdata på båda språken genom multi-task utbildning sekvens-till-sekvens talöversättning och igenkänning modeller med en delad kodare nätverk kan förbättra prestanda med ytterligare 1,4 BLEU poäng.
Weiss m.fl. REF använder också flera uppgifter lärande och visar att end-to-end-modell kan överträffa en kaskad av självständigt utbildade pipeline system på Fisher Callhome spansk-engelsk talöversättning uppgift.
Sequence-to-Sequence Models Can Directly Transcribe Foreign Speech
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}