Medan Deep Neural Networks (DNN) har uppnått enorm framgång för stora ordförråd kontinuerlig taligenkänning (LVCSR) uppgifter, utbildning av dessa nätverk är långsam. Ett skäl är att DNN utbildas med ett stort antal träningsparametrar (dvs. 10–50 miljoner). Eftersom nätverk är utbildade med ett stort antal outputmål för att uppnå bra prestanda, är de flesta av dessa parametrar i det slutliga viktskiktet. I detta dokument föreslår vi en låggradig matrisfaktorisering av det slutliga viktskiktet. Vi tillämpar denna lågvärdiga teknik på DNNs för både akustisk modellering och språkmodellering. Vi visar på tre olika LVCSR uppgifter som sträcker sig mellan 50-400 timmar, att en låg-rank factorization minskar antalet parametrar i nätverket med 30-50%. Detta resulterar i ungefär en motsvarande minskning av träningstiden, utan en betydande förlust av den slutliga igenkänningsnoggrannheten, jämfört med en helrankad representation.
Därefter kan DNN för akustisk modellering och språkmodellering minskas med 30-50% utan märkbar noggrannhet nedbrytning (N. REF.
Low-rank matrix factorization for Deep Neural Network training with high-dimensional output targets
{'venue': '2013 IEEE International Conference on Acoustics, Speech and Signal Processing', 'journal': '2013 IEEE International Conference on Acoustics, Speech and Signal Processing', 'mag_field_of_study': ['Computer Science']}