Många tillämpningar i maskininlärning kräver optimera en funktion vars sanna lutning är okänd, men där surrogat gradient information (riktningar som kan korreleras med, men inte nödvändigtvis identisk med, den sanna gradienten) är tillgänglig i stället. Detta uppstår när en ungefärlig lutning är lättare att beräkna än hela lutningen (t.ex. i meta-lärande eller ovalsad optimering), eller när en sann lutning är oåtkomlig och ersätts med en surrogat (t.ex. i vissa förstärkande inlärningstillämpningar eller utbildningsnätverk med diskreta variabler). Vi föreslår Guidade Evolutionära Strategier, en metod för att optimalt använda surrogat lutning riktningar tillsammans med slumpmässig sökning. Vi definierar en sökfördelning för evolutionära strategier som förlängs längs en subrymd som spänns av surrogatgradienterna. Detta gör att vi kan uppskatta en nedstigning riktning som sedan kan passeras till en första-order optimizer. Vi karakteriserar analytiskt och numeriskt de kompromisser som följer av att stämma hur starkt sökfördelningen sträcks ut längs den vägledande subrymden, och använder detta för att härleda en inställning av hyperparametrarna som fungerar väl över problem. Slutligen tillämpar vi vår metod för att exemplifiera problem, vilket visar en förbättring över både standard evolutionära strategier och första ordningen metoder (som direkt följer surrogatgradienten). Vi erbjuder en demo av guidade ES på: github.com/brain-research/guided-evolutionary-strategier. , et al........................................................................................................................... Mänsklig kontroll genom djupt förstärkande lärande. Natur, 518(7540):529, 2015.
I den andra kategorin, REF föreslår Guidade Utvecklingsstrategier, är huvudidén med en sådan metod att använda extra surrogat gradient information (riktningar som kan korreleras med, men inte nödvändigtvis identisk med, den sanna gradienten) tillsammans med ES slumpmässiga perturbationer.
Guided evolutionary strategies: escaping the curse of dimensionality in random search
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}