Vi utvecklar en fullständigt diskriminerande inlärningsmetod för övervakad Latent Dirichlet Allocation (LDA) modell med hjälp av Back Propagation (dvs. BP-sLDA), som maximerar den bakre sannolikheten för prognosvariabeln med tanke på inmatningsdokumentet. Den föreslagna inlärningsmetoden skiljer sig från traditionell variationsmässig inlärning eller Gibbs provtagningsmetoder, och gäller i) algoritmen för spegelnedstigning för maximal eftergymnasial inferens och ii) bakåtutbredning över en djup arkitektur tillsammans med stokastisk gradient/mirror nedstigning för modellparameteruppskattning, vilket leder till skalbar och end-to-end discriminativ inlärning av modellen. Som biprodukt använder vi också denna teknik för att utveckla en ny inlärningsmetod för den traditionella icke övervakade LDA-modellen (dvs. BP-LDA). Experimentella resultat på tre verkliga regressions- och klassificeringsuppgifter visar att de föreslagna metoderna avsevärt överträffar de tidigare övervakade ämnesmodellerna, neurala nätverk, och är på samma nivå som djupa neurala nätverk.
Genom att förlänga SLDA, BP-sLDA REF tillämpat bakåtutbredning över en djup arkitektur i kombination med stokastisk lutning/mirror nedstigning för modell parameteruppskattning, vilket leder till skalbara och end-toend diskriminativa inlärningsegenskaper.
End-to-end Learning of LDA by Mirror-Descent Back Propagation over a Deep Architecture
{'venue': 'NIPS', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}