En viktig klass av problem är att träna djupa neurala nätverk med glesa förutsägelser mål av mycket hög dimension D. Dessa förekommer naturligt i t.ex. neurala språkmodeller eller inlärning av ord-inbäddningar, ofta som att förutsäga sannolikheten för nästa ord bland ett ordförråd i storlek D (t.ex. 200 000)................................................................................................................. Beräkning av den lika stora, men typiskt icke-sparse D-dimensionella utmatningsvektorn från ett sista dolt lager av rimlig dimension d (t.ex. 500) ådrar sig en oöverkomlig O(Dd) beräkningskostnad för varje exempel, liksom uppdatering av D × d utgångsviktmatrisen och beräkning av den lutning som krävs för backpropagation till tidigare lager. Även om effektiv hantering av stora glesa nätingångar är trivial, är detta fall av stora glesa mål inte, och har hittills förbigåtts med ungefärliga alternativ som hierarkisk softmax eller provtagningsbaserade approximationer under utbildningen. I detta arbete utvecklar vi ett originellt algoritmiskt tillvägagångssätt som, för en familj av förlustfunktioner som inkluderar kvadratfel och sfäriskt softmax, kan beräkna den exakta förlusten, gradientuppdatering för utgångsvikterna, och lutning för backpropagation, allt i O(d 2 ) per exempel istället för O(Dd), anmärkningsvärt utan att någonsin beräkna D-dimensionell utgång. Den föreslagna algoritmen förväntas ge en faktisk hastighetsökning på minst D 4d, dvs. två storleksordningar för typiska storlekar, för den kritiska del av beräkningarna som ofta dominerar träningstiden i denna typ av nätverksarkitektur.
• Exakt gradient på begränsade förlustfunktioner REF introducerar en algoritmisk metod för att effektivt beräkna den exakta förlusten, gradientuppdatering för utgångsvikterna i O(h 2 ) per träningsexempel istället för O(V h).
Efficient Exact Gradient Update for training Deep Networks with Very Large Sparse Targets
{'venue': 'NIPS 2015', 'journal': 'arXiv: Neural and Evolutionary Computing', 'mag_field_of_study': ['Computer Science']}