Sequence-to-Sequence (seq2seq) modellering har snabbt blivit en viktig allmän funktion NLP verktyg som har visat sig vara effektivt för många text-generation och sekvens-märkning uppgifter. Seq2seq bygger på djup neural språk modellering och ärver sin anmärkningsvärda noggrannhet i att uppskatta lokala, nästa ord fördelningar. I detta arbete introducerar vi ett modell- och utbildningsprogram, baserat på Daumé III:s och Marcus arbete (2005), som sträcker sig till följande 2seq för att lära sig globala sekvensresultat. Detta strukturerade tillvägagångssätt undviker klassiska förutfattade meningar i samband med lokal utbildning och förenar utbildningsförlusten med testtidens användning, samtidigt som man bevarar den beprövade modellarkitekturen hos följande 2seq och dess effektiva utbildningsmetod. Vi visar att vårt system överträffar ett mycketoptimerat uppmärksamhetsbaserat 2:a seq-system och andra baslinjer på tre olika sekvenser till sekvensuppgifter: ordbeställning, tolkning och maskinöversättning.
Arbetet i REF utökar följande 2 seq-modell genom att ta bort det slutliga softmaxet i RNN-dekodern för att lära sig globala sekvenspoäng.
Sequence-to-Sequence Learning as Beam-Search Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}