Det har på senare tid funnits ett stort intresse för att uppnå högeffektiva djupa neurala nätverksarkitekturer. Ett lovande paradigm för att uppnå detta är begreppet evolutionär djup intelligens, som försöker efterlikna biologiska utvecklingsprocesser för att syntetisera högeffektiva djupa neurala nätverk under på varandra följande generationer. En viktig aspekt av evolutionär djup intelligens är det genetiska kodningssystem som används för att härma ärftlighet, vilket kan ha en betydande inverkan på kvaliteten på avkomman djupa neurala nätverk. Motiverade av det neurobiologiska fenomenet synapskluster, introducerar vi ett nytt genkodningssystem där synapssannolikheten drivs mot bildandet av en mycket gles uppsättning synapskluster. Experimentella resultat för uppgiften bildklassificering visade att de syntetiserade avkommornas nätverk med hjälp av detta synaptiska klusterdrivna genetiska kodningssystem kan uppnå toppmoderna prestanda samtidigt som de har nätverksarkitekturer som inte bara är betydligt effektivare (med en 125-faldig minskning av synapser för MNIST) jämfört med det ursprungliga förfadersnätverket, utan även skräddarsydda för GPU-accelererade maskininlärningsprogram.
Till exempel, Shafiee & Wong REF utökade den genetiska kodning systemet för att syntetisera djupa neurala nätverk med arkitekturer som möjliggör effektivare slutsatser på parallella datorenheter som GPUs.
Evolutionary Synthesis of Deep Neural Networks via Synaptic Cluster-driven Genetic Encoding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}