Vi presenterar en strategi för att utbilda neurala nätverk för att generera sekvenser med hjälp av skådespelare-kritiska metoder från förstärkning lärande (RL). Nuvarande log-likelihood utbildningsmetoder begränsas av skillnaden mellan deras utbildning och testlägen, eftersom modeller måste generera polletter som är beroende av deras tidigare gissningar snarare än mark-sanningen polletter. Vi tar itu med detta problem genom att införa ett kritiskt nätverk som är utbildat för att förutsäga värdet av en output token, med tanke på politiken i ett aktörsnätverk. Detta resulterar i ett utbildningsförfarande som ligger mycket närmare testfasen, och gör det möjligt för oss att direkt optimera för en uppgiftsspecifik poäng som BLEU. Avgörande, eftersom vi utnyttjar dessa tekniker i den övervakade inlärningsmiljön snarare än den traditionella RL-inställningen, vi villkorar den kritiker nätverk på mark-sanning output. Vi visar att vår metod leder till förbättrad prestanda både på en syntetisk uppgift, och för tysk-engelska maskinöversättning. Vår analys banar väg för sådana metoder att tillämpas i naturliga språkgeneration uppgifter, såsom maskinöversättning, bildtextgenerering, och dialog modellering.
Ett annat tillvägagångssätt REF tillämpar en aktörskritisk metod och använder BLEU score direkt för att utbilda ett kritiskt nätverk för att producera värdet av varje ord, där skådespelaren återigen initieras med politiken för en RNN tränas med nästa steg förutsägelse.
An Actor-Critic Algorithm for Sequence Prediction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}