Variala autokodrar (VAE) i kombination med hierarkiska RNN har framträtt som ett kraftfullt ramverk för konversationsmodellering. Men de lider av den ökända degenerationen problem, där dekodrarna lär sig att ignorera latenta variabler och minska till vanilj RNNs. Vi visar empiriskt att denna degeneracy främst förekommer av två skäl. För det första är den expressiva kraften hos hierarkiska RNN-dekodrar ofta tillräckligt hög för att modellera data med hjälp av endast dess avkodningsdistributioner utan att förlita sig på de latenta variablerna. För det andra, den villkorliga VAE struktur vars genereringsprocess är beroende av ett sammanhang, gör utbudet av utbildning mål mycket glest; det vill säga, RNN dekodrar kan lätt överpassa till träningsdata ignorera latenta variabler. För att lösa degenerationsproblemet föreslår vi en ny modell som heter Variational Hierarchical Conversation RNNs (VHCR), som omfattar två nyckelidéer om (1) att använda en hierarkisk struktur av latenta variabler, och (2) att utnyttja ett uttalande släppa legalisering. Med utvärderingar på två datauppsättningar av Cornell Movie Dialog och Ubuntu Dialog Corpus, visar vi att vår VHCR framgångsrikt använder latenta variabler och överträffar toppmoderna modeller för konversationsgenerering. Dessutom kan den utföra flera nya kontrolluppgifter, tack vare sin hierarkiska latenta struktur.
Variational Hierarchical Conversation RNN (VHCR) REF är en mycket liknande modell som vår, som också antar en hierarkisk latent struktur.
A Hierarchical Latent Structure for Variational Conversation Modeling
{'venue': 'Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers)', 'journal': 'Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers)', 'mag_field_of_study': ['Computer Science']}