Neuroevolution metoder utvecklas vikterna i ett neuralt nätverk, och i vissa fall topologi, men lite arbete har gjorts för att analysera eekten av att utveckla aktiveringsfunktioner för enskilda noder på nätverksstorlek, en viktig faktor när utbildning nätverk med ett litet antal prover. I detta arbete utökar vi neuroevolutionalgoritm NEAT för att utveckla aktiveringsfunktionen av neuroner utöver topologi och vikter i nätverket. Storleken och prestandan hos nätverk som produceras med hjälp av NEAT med enhetlig aktivering i alla noder, eller homogena nätverk, jämförs med nätverk som innehåller en blandning av aktiveringsfunktioner, eller heterogena nätverk. För ett antal regressions- och klassi katjonriktmärken visas att (1) kvalitativt olika aktiveringsfunktioner leder till olika resultat i homogena nätverk, (2) att den heterogena versionen av NEAT kan välja väl fungerande aktiveringsfunktioner, (3) att de producerade heterogena nätverken är betydligt mindre än homogena nät.
HA-NEAT REF förlänger NEAT för att utveckla AF av neuroner, topologi och vikter, vilket resulterar i ett heterogent nätverk.
Evolving parsimonious networks by mixing activation functions
{'venue': "GECCO '17", 'journal': None, 'mag_field_of_study': ['Computer Science']}