Djup evolutionär nätverk strukturerad representation (DENSER) är en ny evolutionär metod för den automatiska generationen av djupa neurala nätverk (DNNs) som kombinerar principerna för genetiska algoritmer (GAs) med principerna för dynamisk strukturerad grammatisk utveckling (DSGE). GA-nivån kodar för evolutionens makrostruktur, dvs. lager, inlärnings- och/eller dataförstärkningsmetoder (bland annat); DSGE-nivån anger parametrarna för varje GA-utvecklingsenhet och det giltiga intervallet för parametrarna. Användningen av en grammatik gör DENSER till en allmän ram för att generera DNN: man behöver bara anpassa grammatiken för att kunna hantera olika nätverk och lagertyper, problem, eller ens för att ändra räckvidden av parametrarna. Denser testas på automatisk generering av konvolutionella neurala nätverk (CNN) för CIFAR-10 dataset, med de bäst presterande nätverken når accuracies på upp till 95,22%. Dessutom tar vi de starkaste nätverken som utvecklats på CIFAR-10, och tillämpar dem för att klassificera MNIST, Fashion-MNIST, SVHN, Rektangles, och CIFAR-100. Resultaten visar att de DNN som Denser upptäckte under evolutionen generaliserar, är robusta och skalorade. Det mest imponerande resultatet är klassificeringsnoggrannheten 78,75 % på CIFAR-100-datasetet, som, såvitt vi vet, sätter en ny toppmodern teknik på metoder som syftar till att automatiskt utforma CNN. Genetisk programmering och utvecklade maskiner (2019) 20:5-35 DENSER. I avsnitt 3 kartläggs kortfattat de viktigaste och mest inflytelserika neuroevolutionsverken, med särskilt fokus på dem som tar itu med utvecklingen av DNN. Avsnitt 4 beskriver dynamisk strukturerad grammatisk utveckling (DSGE) som fungerar som bas för utveckling av DENSER (detaljerad i Sect. 5) När det gäller läkemedel som inte är avsedda att användas tillsammans med andra läkemedel (se avsnitt 4. 5, 4. 5 och 4. I avsnitt 6 presenteras de utförda experimenten. I Sect. 7 slutsatser dras och det framtida arbetet tas upp. Sökandet efter metoder för att automatiskt konfigurera ML-metoder är inte nytt, och kallas automatiserad maskininlärning (AutoML). Huvudsyftet med dessa strategier är att skapa och konfigurera ML-system utan att människor behöver ingripa. Detta skulle undanröja behovet av domänkunskap och expertis och minska bördan av en omfattande iterativ försöks- och terroristsökning. Det yttersta målet med AutoML är att ge icke-experter användare med ML-system som kan användas utanför hyllan. Med tanke på den nuvarande efterfrågan på sådana system finns det till och med tävlingar, som ChaLearn [21, 22], där målet är att bygga modeller för att hantera ML uppgifter utan manuell parameterisering. AutoML har fyra viktiga automationsmål: i) förbehandling av data, ii) funktionsteknik, iii) val av modell och iv) konfiguration av hyperparameter. Tillsammans med manuell sökning är den mest använda metoden för att optimera algoritmiska parameteriseringar rutnätssökning, som utför en omfattande sökning av den diskreta parameterns domän. Duan och Keerthi [13] använder rutnätssökning för att optimera regulariserings- och kärnparametrarna för stödvektormaskiner (SVMs) med en Gaussisk kärna; Jiménez et al. [26] föreslår två riktade rutnätssökningsmetoder 1 och tillämpar dem för optimering av parametrarna för SVM och flerskiktsperceptroner (MLP). En av de största fördelarna med nätsökning är att den är mycket parallelliserbar. Det kräver dock en enorm beräkningseffekt, eftersom alla parameterkombinationer i rutnätet måste testas; dessutom hanterar det inte kontinuerliga värden (som måste diskretiseras). Bergstra m.fl. [8, 9] visar att med tanke på samma beräkningstid kan slumpmässig sökning upptäcka en bättre parameterisering för ett artificiellt neuralt nätverk (ANN) än nätsökning. I motsats till de tidigare metoderna, som inte gör några antaganden om det område som ska utforskas, har vi probabilistiska metoder. Ett exempel på detta är Bayesian optimering [40]-målet är att modellera, probabilistiskt, beteendet hos det system som ska ställas in, så att vi driver sökandet mot regioner inom domänen som är benägna att generera bättre resultat. Snoek och Larochelle [53] visar förmågan hos Bayesian optimering att justera parametrarna för Branin-Hoo-funktionen, Logistik Regression, Online Latent Dirichlet Allokering, Latent Strukturerade SVMs, och konvolutionella neurala nätverk (CNNs). Trots relevansen av de tidigare verken, ingen av dem försöker att ta itu med, samtidigt, alla tidigare uppräknade viktiga automation mål AutoML. 1 Rutnät sökmetoder som anpassar upplösningen av rutnätet i körtid.
Assuno m.fl. REF har presenterat Denser, ett arbete där en flernivåkodning av kandidatlösningar möjliggör optimering av nätets topologi och aktiveringsfunktioner, där författarna hävdar att den också kan användas för att utveckla hyperparametrarna för inlärningsprocessen samt för dataförstärkningsstadiet.
DENSER: deep evolutionary network structured representation
{'venue': 'Genetic Programming and Evolvable Machines', 'journal': 'Genetic Programming and Evolvable Machines', 'mag_field_of_study': ['Computer Science']}