Vi tar upp ett viktigt problem i sekvens-till-sekvens (Seq2Seq) lärande som kallas kopiering, där vissa segment i indatasekvensen selektivt replikeras i utdatasekvensen. Ett liknande fenomen kan observeras i den mänskliga språkkommunikationen. Människor har till exempel en tendens att upprepa entitetsnamn eller till och med långa fraser i samtal. Utmaningen när det gäller kopiering i Seq2Seq är att det behövs nya maskiner för att bestämma när operationen ska utföras. I detta papper, vi införlivar kopiering i neurala nätverkbaserat Seq2Seq lärande och föreslå en ny modell som kallas COPYNET med koddecoder struktur. COPYNET kan fint integrera det vanliga sättet att ordgenerering i dekoder med den nya kopieringsmekanismen som kan välja undersekvenser i indatasekvensen och sätta dem på rätt platser i utdatasekvensen. Vår empiriska studie av både syntetiska datamängder och verkliga datauppsättningar visar effekten av COPYNET. Till exempel kan COPYNET överträffa vanlig RNN-baserad modell med anmärkningsvärda marginaler på textsammanfattningsuppgifter.
Före Pointer Generators, CopyNet REF innehåller en kopieringsmekanism för sekvens till sekvens lärande.
Incorporating Copying Mechanism in Sequence-to-Sequence Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}