Medan evolutionära algoritmer (EAs) länge har erbjudit en alternativ metod för optimering, under de senaste åren tillbakapropagation genom stokastisk lutning nedstigning (SGD) har kommit att dominera fälten för neural nätverk optimering och djup inlärning. En hypotes för frånvaron av EAs i djupt lärande är att moderna neurala nätverk har blivit så högdimensionella att evolutionen med sin inexakta lutning inte kan matcha de exakta gradientberäkningarna av backpropagation. Dessutom skulle utvärderingen av en enskild individ i evolution på de stora datamängder som nu är förhärskande i djupt lärande utgöra ett oöverkomligt hinder för effektiv optimering. Detta dokument utmanar dessa åsikter, vilket tyder på att EA kan fås att köra betydligt snabbare än man tidigare trott genom att utvärdera individer endast på ett litet antal utbildningsexempel per generation. Förvånansvärt nog är användningen av detta tillvägagångssätt med endast en enkel EA (kallas den begränsade utvärderingen EA eller LEEA) konkurrenskraftig med den toppmoderna SGD varianten RMSProp på flera riktmärken med neurala nätverk med över 1000 vikter. Det är motiverat med ytterligare undersökningar, men dessa inledande resultat tyder på att EA skulle kunna vara det första genomförbara utbildningsalternativet för djupinlärning utanför SGD och därmed öppna upp djupinlärning för alla verktyg för evolutionsberäkning.
I REF används en begränsad utvärderingsutvecklingsalgoritm (LEEA) för att optimera nätets vikter.
Simple Evolutionary Optimization Can Rival Stochastic Gradient Descent in Neural Networks
{'venue': "GECCO '16", 'journal': None, 'mag_field_of_study': ['Computer Science']}