Vi introducerar en online neural sekvens till sekvensmodell som lär sig att alternera mellan kodning och avkodning segment av indata som det är läst. Genom att självständigt spåra kodning och avkodning representationer vår algoritm tillåter exakt polynomisk marginalisering av latent segmentering under utbildning, och under avkodning strålsökning används för att hitta den bästa anpassningsvägen tillsammans med den förutsedda utdatasekvensen. Vår modell hanterar flaskhalsen av vanilj kodare-avkodare som måste läsa och memorera hela indatasekvensen i deras fast längd dolda tillstånd innan du producerar någon utdata. Det skiljer sig från tidigare uppmärksamma modeller i att i stället för att behandla uppmärksamhet vikter som resultat av en deterministisk funktion, vår modell tilldelar uppmärksamhet vikter till en sekventiell latent variabel som kan marginaliseras ut och tillåter online-generering. Experiment på abstrakta meningssammanfattningar och morfologisk inflektion visar signifikanta resultatvinster över utgångsvärdet för kodare-dekodrar.
Inställningsbaserade neurala modeller applicerades också för att utföra summering och morfologisk böjning REF.
Online Segment to Segment Neural Transduction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}