Ett nyckelproblem i strukturerad utdataprediktion är direkt optimering av den uppgiftsbelöningsfunktion som är viktig för testutvärderingen. I detta dokument presenteras ett enkelt och beräkningseffektivt tillvägagångssätt för att införliva arbetsbelöning i en ram med största sannolikhet. Genom att etablera en koppling mellan log-likelihood och förväntade belöningsmål, visar vi att en optimal legaliserad förväntad belöning uppnås när den villkorliga fördelningen av outputs givet indata är proportionell mot deras exponentierade skalade belöningar. Följaktligen presenterar vi en ram för att jämna ut den prediktiva sannolikheten för resultaten med hjälp av deras motsvarande belöningar. Vi optimerar den villkorliga log-sannolikhet för utökade utgångar som provtas proportionellt mot deras exponentierade skalade belöningar. Experiment på neural sekvens till sekvens modeller för taligenkänning och maskinöversättning visar anmärkningsvärda förbättringar över en maximal sannolikhet baslinje genom att använda belöning förstärkt maximal sannolikhet (RAML), där belöningarna definieras som det negativa redigeringsavståndet mellan utgångarna och marken sanningsetiketter.
REF föreslog ett effektivt och stabilt tillvägagångssätt som kallas Reward Augmented Maximum Sanelihood (RAML), som kopplar samman log-likelihood och förväntade belöningar för att införliva MLE-utbildningsmål i RL-ramverket.
Reward Augmented Maximum Likelihood for Neural Structured Prediction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}