Vi föreslår en metod för att lära dialog förvaltning politik från en fast datauppsättning. Metoden tar upp de utmaningar som informationsstatsuppdateringens (ISU)-baserade dialogsystem innebär, som representerar läget för en dialog som en stor uppsättning funktioner, vilket resulterar i ett mycket stort statsutrymme och ett enormt politikområde. För att ta itu med problemet att alla fasta datamängder endast kommer att ge information om små delar av dessa tillstånds- och policyområden föreslår vi en hybridmodell som kombinerar förstärkande lärande med övervakat lärande. Det förstärkande lärandet används för att optimera ett mått av dialog belöning, medan det övervakade lärandet används för att begränsa den inlärda politiken till de delar av dessa utrymmen för vilka vi har data. Vi använder också linjär funktion approximation för att ta itu med behovet av att generalisera från en fast mängd data till stora tillstånd utrymmen. För att visa hur effektiv denna metod är på denna utmanande uppgift har vi utbildat denna modell på COMMUNCATOR corpus, till vilken vi har lagt kommentarer för användaråtgärder och informationsstater. Vid test med en användarsimulering tränad på en annan del av samma datauppsättning överträffar vår hybridmodell en ren övervakad inlärningsmodell och en ren förstärkande inlärningsmodell. Det överträffar också de handgjorda systemen på COMMUNCATOR data, enligt automatiska utvärderingsåtgärder, förbättra över genomsnittet COMMUNCATOR system policy med 10%. Den föreslagna metoden kommer att förbättra tekniker för bootstrappning och automatisk optimering av dialoghanteringspolicyer från begränsade initiala datauppsättningar.
I Ref föreslogs en hybrid SL/RL-modell som, för att säkerställa att politiken kan optimeras, endast utförde prospektering på staterna i ett dialogorgan.
Hybrid Reinforcement/Supervised Learning of Dialogue Policies from Fixed Data Sets
{'venue': 'Computational Linguistics', 'journal': 'Computational Linguistics', 'mag_field_of_study': ['Computer Science']}