Många state-of-the-art resultat som erhållits med djupa nätverk uppnås med de största modeller som skulle kunna tränas, och om mer beräkningskraft fanns tillgänglig, skulle vi kunna utnyttja mycket större dataset för att förbättra generalisering förmåga. Medan i lärande algoritmer såsom beslut träd förhållandet mellan kapacitet (t.ex., antalet parametrar) till beräkning är mycket gynnsam (upp till exponentiellt fler parametrar än beräkning), förhållandet är i huvudsak 1 för djupa neurala nätverk. Villkorlig beräkning har föreslagits som ett sätt att öka kapaciteten i ett djupt neuralt nätverk utan att öka mängden beräkning som krävs, genom att aktivera vissa parametrar och beräkning "on-demand", på en per-exempel basis. I denna not föreslår vi en ny parametrisering av viktmatriser i neurala nätverk som har potential att öka upp till exponentiellt förhållandet mellan antalet parametrar till beräkning. Den föreslagna metoden bygger på att man vrider på vissa parametrar (viktmatriser) när specifika bitmönster för dolda enhetsaktiveringer erhålls. För att bättre kunna styra överpassningen som kan resultera, föreslår vi en parametrisering som är trädstrukturerad, där varje nod av trädet motsvarar ett prefix av en sekvens av teckenbitar, eller gating enheter, i samband med dolda enheter.
Efter denna forskningslinje, REF studerade öka kapaciteten i neurala nätverk utan att öka nödvändig beräkning genom att utnyttja bit mönster i samband med dolda enheter.
Exponentially Increasing the Capacity-to-Computation Ratio for Conditional Computation in Deep Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}