Nuvarande neurala nätverk-baserade konversationsmodeller saknar mångfald och genererar tråkiga svar på öppna uttalanden. Tal som persona, känslor eller ämne ger ytterligare information till dialogmodeller för att hjälpa svarsgenerering, men att kommentera en datauppsättning med tidigare är dyrt och sådana kommentarer är sällan tillgängliga. Även om tidigare metoder för att förbättra kvaliteten på öppen-domän svarsgenerering fokuserade på antingen den underliggande modellen eller utbildningsmålet, presenterar vi en metod för filtrering dialog dataset genom att ta bort generiska uttalanden från utbildningsdata med hjälp av en enkel entropi-baserad metod som inte kräver mänsklig övervakning. Vi utför omfattande experiment med olika varianter av vår metod, och jämför dialogmodeller över 17 utvärderingsmått för att visa att utbildning på datauppsättningar filtreras på detta sätt resulterar i bättre konversationskvalitet när chatbots lär sig att ge fler olika svar.
För att ändra detta använder vi vår idé om filtrering dialog dataset baserat på entropi, erhålla högre kvalitet utbildningsdata REF.
Improving Neural Conversational Models with Entropy-Based Data Filtering
{'venue': 'Proceedings of the 57th Conference of the ACL (2019) 5650-5669', 'journal': None, 'mag_field_of_study': ['Computer Science']}