Skalbarhet egenskaper djupa neurala nätverk väcker viktiga forskningsfrågor, särskilt som de problem som anses bli större och mer utmanande. Detta dokument expanderar tanken på villkorlig beräkning infördes i [2], där noderna i ett djupt nätverk förstärks av en uppsättning gating enheter som avgör när en nod bör beräknas. Genom att faktorisera viktmatrisen till en låg rank approximation, en uppskattning av tecknet på för-nonlinearitet aktivering kan uppnås effektivt. För nätverk som använder rättade-linjära dolda enheter innebär detta att beräkningen av en dold enhet med en beräknad negativ pre-nonlinearitet kan utelämnas helt, eftersom dess värde blir noll när icke-linjäritet tillämpas. För glesa neurala nätverk, kan detta resultera i betydande hastighetsvinster. Experimentella resultat med hjälp av datamängderna MNIST och SVHN med ett fullt sammankopplat djupt neuralt nätverk visar att det föreslagna systemet är robust vad gäller det fel som införts genom den villkorade beräkningsprocessen.
I REF används en låggradig approximation av MLP:s viktmatris för att beräkna tecknet på aktivering av prenonlinjäritet.
Low-Rank Approximations for Conditional Feedforward Computation in Deep Neural Networks
{'venue': 'ICLR 2013', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}