Genom framgången med djupt lärande inom olika områden, artificiella neurala nätverk är för närvarande bland de mest använda artificiell intelligens metoder. Inspiration från de biologiska neurala nätverkens nätverksegenskaper (t.ex. gleshet, skalfrihet), hävdar vi att (i motsats till allmän praxis) artificiella neurala nätverk, också, inte bör ha fullt anslutna lager. Här föreslår vi sparse evolutionär utbildning av artificiella neurala nätverk, en algoritm som utvecklar en initial gles topologi (Erdős-Rényi random graf) av två på varandra följande lager av neuroner till en skala-fri topologi, under lärande. Vår metod ersätter artificiella neurala nätverk fullt anslutna lager med glesa före träning, vilket minskar antalet parametrar, utan att minska noggrannheten. Vi demonstrerar våra anspråk på begränsade Boltzmann maskiner, multi-lager perceptroner, och konvolutionella neurala nätverk för oövervakade och övervakade lärande på 15 dataset. Vår strategi har potential att möjliggöra artificiella neurala nätverk att skala upp bortom vad som för närvarande är möjligt.
Inspirerad av darwiniansk teori är Sparse Evolutionary Training (SET) REF ) en enkel men effektiv träningsmetod som gör det möjligt för en initialt gles topologi av tvåpartita lager av neuroner att utvecklas mot en skalfri topologi, samtidigt som man lär sig att passa dataegenskaperna.
Scalable training of artificial neural networks with adaptive sparse connectivity inspired by network science
{'venue': 'Nature Communications', 'journal': 'Nature Communications', 'mag_field_of_study': ['Medicine', 'Biology']}