I detta dokument presenterar vi en ram för djupt förstärkande lärande (RL) för iterativ dialogpolicyoptimering i endto-end aktivitetsorienterade dialogsystem. Populära tillvägagångssätt i inlärningsdialogrutan policy med RL inkluderar att låta en dialogagent lära sig mot en användarsimulator. Att bygga en tillförlitlig användarsimulator är dock inte trivialt, ofta lika svårt som att bygga en bra dialogagent. Vi tar itu med denna utmaning genom att gemensamt optimera dialogagenten och användarsimulatorn med djup RL genom att simulera dialoger mellan de två agenterna. Vi först bootstrap en grundläggande dialogagent och en grundläggande användarsimulator genom att lära sig direkt från dialog corpora med övervakad utbildning. Vi förbättrar dem sedan ytterligare genom att låta de två agenterna föra uppgiftsorienterade dialoger och iterativt optimera sin politik med djup RL. Både dialogagenten och användarsimulatorn är utformade med neurala nätverksmodeller som kan tränas end-to-end. Våra experimentresultat visar att den föreslagna metoden leder till lovande förbättringar när det gäller uppgiftsframgångar och total uppgiftsbelöning jämfört med övervakad utbildning och enagentbaserade RL-utbildningsmodeller.
REF presenterade en metod för iterativ dialog policy utbildning och ta itu med problemet med att bygga tillförlitliga simulatorer genom att optimera systemet och användaren gemensamt. Men ett sådant iterativt tillvägagångssätt kräver extra ansträngning för att sätta upp RL och utforma belöningen för användarsimulatorn, vilket kan resultera i att de två agenterna utnyttjar uppgiften, och leder till numerisk instabilitet.
Iterative policy learning in end-to-end trainable task-oriented neural dialog models
{'venue': '2017 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)', 'journal': '2017 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)', 'mag_field_of_study': ['Computer Science']}