Vi presenterar en strategi för att utbilda neurala nätverk för att generera sekvenser med hjälp av skådespelare-kritiska metoder från förstärkning lärande (RL). Nuvarande log-likelihood utbildningsmetoder begränsas av skillnaden mellan deras utbildning och testlägen, eftersom modeller måste generera polletter som är beroende av deras tidigare gissningar snarare än mark-sanningen polletter. Vi tar itu med detta problem genom att införa ett kritiskt nätverk som är utbildat för att förutsäga värdet av en output token, med tanke på politiken i ett aktörsnätverk. Detta resulterar i ett utbildningsförfarande som ligger mycket närmare testfasen, och gör det möjligt för oss att direkt optimera för en uppgiftsspecifik poäng som BLEU. Avgörande, eftersom vi utnyttjar dessa tekniker i den övervakade inlärningsmiljön snarare än den traditionella RL-inställningen, vi villkorar den kritiker nätverk på mark-sanning output. Vi visar att vår metod leder till förbättrad prestanda både på en syntetisk uppgift, och för tysk-engelska maskinöversättning. Vår analys banar väg för sådana metoder att tillämpas i naturliga språkgeneration uppgifter, såsom maskinöversättning, bildtextgenerering, och dialog modellering.
REF tillämpar en aktörskritisk metod och använder BLEU-poäng direkt för att utbilda ett kritiskt nätverk för att ge ut värdet av varje ord, där skådespelaren återigen initieras med en RNN-utbildning med nästa stegs förutsägelse.
An Actor-Critic Algorithm for Sequence Prediction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}