Latent Dirichlet Allocation (LDA) är en hierarkisk bayesiansk trenivåmodell för ämnesinferens. Trots sin stora framgång är det tidskrävande att sluta sig till den latenta ämnesfördelningen med LDA. Motiverad av den metod för överföringslärande som föreslagits av Hinton et al. (2015), presenterar vi en ny metod som använder LDA för att övervaka utbildningen av ett djupt neuralt nätverk (DNN), så att DNN kan approximera den kostsamma LDA inference med mindre beräkning. Våra experiment på en dokumentklassificering uppgift visar att en enkel DNN kan lära sig LDA beteende ganska bra, medan slutsatsen påskyndas tiotals eller hundratals gånger.
Zhang REF lärde sig från LDA att övervaka utbildningen av djupa neurala nätverk.
Learning from LDA using Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}