Neurala generativa modeller har blivit allt populärare när man bygger upp samtalsagenter. De erbjuder flexibilitet, kan enkelt anpassas till nya domäner och kräver minimal domänteknik. En vanlig kritik mot dessa system är att de sällan förstår eller använder den tillgängliga dialoghistoriken effektivt. I det här dokumentet tar vi ett empiriskt tillvägagångssätt för att förstå hur dessa modeller använder den tillgängliga dialoghistoriken genom att studera hur känsliga modellerna är för att artificiellt införa onaturliga förändringar eller störningar i sitt sammanhang vid testtillfället. Vi experimenterar med 10 olika typer av perturbationer på 4 multi-turn dialogruta dataset och finner att vanliga neural dialog arkitekturer som återkommande och transformator-baserade följande 2 seq modeller är sällan känsliga för de flesta perturbationer såsom saknas eller omordning uttalanden, duffling ord, etc. Dessutom, genom att öppna-sourcing vår kod, tror vi att det kommer att fungera som ett användbart diagnostiskt verktyg för att utvärdera dialogsystem i framtiden 1.
REF observera att neural dialog arkitekturer modeller är okänsliga för de flesta sekvens perturbationer.
Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}