Topic modeller är en av de mest populära metoderna för att lära representationer av text, men en stor utmaning är att varje förändring av ämnesmodell kräver matematiskt härleda en ny inference algoritm. En lovande strategi för att ta itu med detta problem är automatisk kodning variations Bayes (AEVB), men det har visat sig svårt att tillämpa på ämnesmodeller i praktiken. Vi presenterar för vår kännedom den första effektiva AEVB-baserade inferensmetoden för latent Dirichlet allocation (LDA), som vi kallar Autoencoded Variational Inference For Topic Model (AVITM). Denna modell tar itu med de problem som Dirichlet hade orsakat för AEVB före och genom att komponenten kollapsade. Vi finner att AVITM matchar traditionella metoder i exakthet med mycket bättre sluttid. I själva verket, på grund av inference nätverket, finner vi att det är onödigt att betala beräkningskostnaden för att köra variationsoptimering på testdata. Eftersom AVITM är en svart låda tillämpas den lätt på nya ämnesmodeller. Som en dramatisk illustration av detta presenterar vi en ny ämnesmodell som heter ProdLDA, som ersätter blandningsmodellen i LDA med en produkt av experter. Genom att bara ändra en kodrad från LDA, finner vi att ProdLDA ger mycket mer tolkningsbara ämnen, även om LDA utbildas via kollapsade Gibbs provtagning.
Sutton m.fl. REFVOLUME 8, 2020 presenterade en ämnesmodell som heter PRODLDA för att ersätta blandningsantagandet på ordnivå i LDA med en viktad produkt av experter.
Autoencoding Variational Inference For Topic Models
{'venue': 'ICLR', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}