anses ofta vara den valda metoden för kontinuerlig optimering när första eller andra ordningens information finns tillgänglig. Användningen av L-BFGS kan dock vara komplicerad i en svart låda där gradientinformation inte finns tillgänglig och därför bör beräknas numeriskt. Noggrannheten i denna uppskattning, som erhålls med finita differensmetoder, är ofta problemberoende och kan leda till för tidig konvergens av algoritmen. Denna artikel visar ett alternativ till L-BFGS, den begränsade matrisanpassningsstrategi för minne (LM-CMA) som föreslås av Loshchilov (2014). LM-CMA är en stokastisk derivatfri algoritm för numerisk optimering av ickelinjära, icke konvexa optimeringsproblem. Inspirerad av L-BFGS, provar LM-CMA kandidatlösningar enligt en kovariansmatris reproducerad från m riktning vektorer utvalda under optimeringsprocessen. Nedbrytningen av kovariansmatrisen i Cholesky-faktorer gör det möjligt att minska minneskomplexiteten till O(mn), där n är antalet beslutsvariabler. Den tid komplexa provtagning en kandidat lösning är också O (mn) men skalor som endast ca 25 skalar-vektor multiplikationer i praktiken. Algoritmen har en viktig egenskap av invarians med avseende på strikt ökande omvandlingar av den objektiva funktionen; sådana omvandlingar äventyrar inte dess förmåga att närma sig det optimala. LM-CMA överträffar den ursprungliga CMA-ES och dess storskaliga versioner av icke-separerbara illkonditionerade problem med en faktor som ökar med problemdimension. Varierande egenskaper hos algoritmen hindrar den inte från att demonstrera en jämförbar prestanda med L-BFGS på icke-triviala storskaliga smidiga och icke-smooth optimeringsproblem.
Covariance matris anpassning utvecklingsstrategi är ett annat sätt att söka i ett stort utrymme REF.
LM-CMA: An Alternative to L-BFGS for Large-Scale Black Box Optimization
{'venue': 'Evolutionary Computation', 'journal': 'Evolutionary Computation', 'mag_field_of_study': ['Mathematics', 'Computer Science', 'Medicine']}