Deep Neural Networks (DNN) är kraftfulla modeller som har uppnått utmärkta resultat på svåra inlärningsuppgifter. Även om DNN fungerar bra när stora märkta träningsset finns tillgängliga, kan de inte användas för att kartlägga sekvenser till sekvenser. I detta dokument presenterar vi en allmän end-to-end strategi för sekvensinlärning som gör minimala antaganden om sekvensstrukturen. Vår metod använder en flerskiktad Long Short-Term Memory (LSTM) för att kartlägga indatasekvensen till en vektor av en fast dimensionalitet, och sedan ytterligare en djup LSTM för att avkoda målsekvensen från vektorn. Vårt huvudsakliga resultat är att på en engelsk till fransk översättning uppgift från WMT-14 dataset, de översättningar som produceras av LSTM uppnå en BLEU-poäng på 34.8 på hela testet, där LSTM: s BLEU-poäng straffades på out-of-vokabulary ord. Dessutom hade LSTM inga svårigheter med långa meningar. Som jämförelse uppnår ett frasbaserat SMT-system en BLEU-poäng på 33,3 på samma datauppsättning. När vi använde LSTM för att omvärdera de 1000 hypoteser som producerades av det tidigare nämnda SMT-systemet, ökar BLEU-poängen till 36,5, vilket är nära den senaste tekniken. LSTM lärde sig också förnuftiga uttryck och meningsrepresentationer som är känsliga för ordordning och är relativt invarianta för den aktiva och passiva rösten. Slutligen fann vi att vända ordningen av orden i alla käll meningar (men inte mål meningar) förbättrade LSTM: s prestanda markant, eftersom det införde så många kortsiktiga beroenden mellan källan och mål mening som gjorde optimeringsproblemet lättare.
REF introducerar neural maskin översättning och kastar det som en sekvens till sekvens inlärning problem.
Sequence to Sequence Learning with Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}