Vi introducerar en typ av Deep Boltzmann Machine (DBM) som är lämplig för att extrahera distribuerade semantiska representationer från en stor ostrukturerad samling av dokument. Vi övervinner den uppenbara svårigheten att utbilda en DBM med omdömesgill parameterbindning. Detta möjliggör en effektiv förträningsalgoritm och ett tillståndsinitieringsschema för snabb slutledning. Modellen kan tränas lika effektivt som en standard begränsad Boltzmann maskin. Våra experiment visar att modellen ger bättre log sannolikhet till osedda data än den replikerade Softmax-modellen. Funktioner som utvinns ur vår modell överträffar LDA, Replicated Softmax och DocNADE-modeller på dokumenthämtning och dokumentklassificeringsuppgifter.
Srivastava m.fl. REF introducerade en typ av Deep Boltzmann Machine (DBM) som är lämplig för att extrahera distribuerade semantiska representationer från en corpus av dokument; en Over-Replicated Softmax modell föreslogs för att övervinna den uppenbara svårigheten att träna en DBM.
Modeling Documents with Deep Boltzmann Machines
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}