Neurala dialogmodeller, trots sina framgångar, lider fortfarande av brist på relevans, mångfald och i många fall samstämmighet i de svar som de ger upphov till. Dessa frågor har tillskrivits orsaker som 1) kortdistansmodellarkitekturer som fångar begränsade tidsberoenden, 2) begränsningar av målet för maximal sannolikhet för utbildning, 3) konkav entropiprofil för dialogdata som resulterar i korta och generiska svar, och 4) problem utanför röstlängden som leder till att ett stort antal toner skapas. Autoregressiva transformatormodeller som GPT-2, även om de är utbildade med det högsta sannolikhetsmålet, lider inte av problemet utanför vokabulären och har visat en utmärkt förmåga att fånga långdistansstrukturer i språkmodelleringsuppgifter. I detta dokument undersöker vi användningen av autoregressiva transformatormodeller för multi-turn dialog svarsgenerering. I våra experiment använder vi små och medelstora GPT-2 modeller (med offentligt tillgängliga preutbildade språk modellparametrar) på opendomain Movie Triples dataset och slutna-domänen Ubuntu Dialogue dataset. Modellerna (med och utan förutbildning) uppnår betydande förbättringar jämfört med baslinjerna för svarsgenereringen av dialoger i flera omgångar. De producerar också den senaste prestandan på de två datauppsättningarna baserat på flera mätvärden, inklusive BLEU, ROGUE och distinkta n-gram.
DLGnet REF är en stor transformatormodell som är utbildad på dialogdataset och som uppnår goda resultat i flerfaldig dialoggenerering.
Multi-turn Dialogue Response Generation with Autoregressive Transformer Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}