Vi föreslår Sparse Neural Network arkitekturer som är baserade på slumpmässiga eller strukturerade bipartit graf topologier. Sparse arkitekturer ger komprimering av modeller inlärda och snabba upp beräkningar, de kan också överträffa sina ostrukturerade eller fullt anslutna motsvarigheter. Som vi visar, ännu mer kompakt topologier av den så kallade SNN (Sparse Neural Network) kan uppnås med hjälp av strukturerade grafer av anslutningar mellan på varandra följande lager av neuroner. I denna uppsats undersöker vi hur exaktheten och träningshastigheten hos modellerna beror på topologin och glesheten i det neurala nätverket. Tidigare metoder med sparcity är alla baserade på helt anslutna neurala nätverk modeller och skapa sparcity under utbildningsfasen, istället definierar vi uttryckligen en gles arkitektur av anslutningar innan utbildningen. Att bygga kompakta neurala nätverksmodeller överensstämmer med empiriska observationer som visar att det finns mycket redundans i lärda neurala nätverksmodeller. Vi visar experimentellt att noggrannheten hos de modeller som lärs med neurala nätverk beror på "expander-liknande" egenskaper hos de underliggande topologierna såsom spektralgap och algebraisk anslutning snarare än densiteten i graferna av anslutningar.
De "föreslår Sparse Neural Network arkitekturer som är baserade på slumpmässiga eller strukturerade bipartit graf topologier" REF men verkar inte basera sin konstruktion på befintliga arbete i Network Science när de omvandlar sina slumpmässigt genererade strukturer till ANNs.
Sparse Neural Networks Topologies
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}