Neuromorfisk hårdvara tenderar att utgöra gränser för anslutning av djupa nätverk som man kan köra på dem. Men även generiska hårdvaru- och programvaruimplementeringar av djupinlärning går effektivare för glesa nätverk. Flera metoder finns för beskärning anslutningar av ett neuralt nätverk efter att det utbildades utan konnektivitet begränsningar. Vi presenterar en algoritm, DEEP R, som gör det möjligt för oss att träna direkt ett glest sammankopplat neuralt nätverk. DEEP R kopplar automatiskt om nätverket under övervakad utbildning så att anslutningar finns där de mest behövs för uppgiften, medan dess totala antal är hela tiden strikt avgränsad. Vi visar att DEEP R kan användas för att träna mycket glesa feedfore och återkommande neurala nätverk på standard benchmarking uppgifter med bara en mindre förlust i prestanda. DEEP R bygger på en strikt teoretisk grund som ser omkoppling som stokastisk provtagning av nätverkskonfigurationer från en bakre.
REF introducerar DEEP-R, som tar ett Bayesian perspektiv och utför provtagning för beskärning och återväxt beslut -ampling sparse nätverkskonfigurationer från en bakre.
Deep Rewiring: Training very sparse deep networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}