Även om generationsbaserade dialogsystem har undersökts i stor utsträckning, har de flesta befintliga systems svarsgenerationer mycket små skillnader. Den troligaste orsaken till detta problem är maximal sannolikhetsskattning (MLE) med Softmax Cross-Entropy (SCE) förlust. MLE utbildar modeller för att generera de vanligaste svaren från enorma generationer kandidater, även om det i faktiska dialoger finns olika svar baserade på sammanhanget. I detta dokument föreslår vi en ny objektiv funktion kallad Inverse Token Frequency (ITF) förlust, som individuellt skalar mindre förlust för frekventa token klasser och större förlust för sällsynta token klasser. Denna funktion uppmuntrar modellen att generera sällsynta polletter snarare än frekventa polletter. Det komplicerar inte modellen och dess utbildning är stabil eftersom vi bara ersätter den objektiva funktionen. På OpenSubtitles dialogdataset etablerar vår förlustmodell en toppmodern DIST-1 på 7.56, som är Unigram diversity score, samtidigt som en bra BLEU-1 score bibehålls. På ett japanskt Twitter svarar dataset, vår förlustmodell uppnår en DIST-1 poäng jämförbar med marken sanningen.
REF föreslog en förlustfunktion som lägger till vikter baserat på inversen av ordet frekvens.
Another Diversity-Promoting Objective Function for Neural Dialogue Generation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}