Recurrent Neural Networks kan tränas att producera sekvenser av polletter ges några inmatning, som exemplifieras av de senaste resultaten i maskinöversättning och bildtextning. Den nuvarande metoden för att träna dem består i att maximera sannolikheten för varje token i sekvensen med tanke på nuvarande (återkommande) tillstånd och föregående token. Vid slutsatsen, den okända föregående token ersätts sedan av ett tecken som genereras av själva modellen. Denna skillnad mellan träning och slutledning kan ge fel som snabbt kan ackumuleras längs den genererade sekvensen. Vi föreslår en läroplansutbildningsstrategi för att försiktigt ändra utbildningsprocessen från en helt guidad plan med hjälp av den sanna föregående token, till en mindre guidad plan som mest använder den genererade token istället. Experiment på flera sekvens förutsägelser uppgifter visar att detta tillvägagångssätt ger betydande förbättringar.
För att minimera skillnaden mellan träning och slutledning, Bengio et al. I REF föreslås en strategi för inlärning i läroplanen för att gradvis bortse från vägledningen från handledning under utbildningen.
Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}