I detta dokument undersöks den teoretiska grunden för utvecklingsstrategin för kovariansmatrisanpassning (CMA-ES) ur informationsgeometrisynpunkt. För att etablera en teoretisk grund för CMA-ES fokuserar vi på en geometrisk struktur av ett Riemannskt grenrör av sannolikhetsfördelningar utrustade med Fisher metrisk. Vi definierar en funktion på grenröret som är förväntan om lämplighet över provtagningsfördelningen, och betraktar målet att uppdatera parametrarna för provtagningsfördelningen i CMA-ES som maximering av den förväntade konditionen. Vi undersöker den brantaste uppstigningen för den förväntade maximeringen av konditionen, där den brantaste uppstigningsriktningen ges av den naturliga lutningen, som är produkten av omvänt av Fisher-informationsmatrisen och den konventionella lutningen av funktionen. Vårt första resultat är att vi kan få under vissa typer av parameterisering av multivariat normalfördelning den naturliga lutningen av den förväntade lämpligheten utan behov av inversion av Fisher information matris. Vi finner att uppdateringen av fördelningsparametrarna i CMA-ES är samma som naturligt gradientinlärning för förväntad maximering av kondition. Vårt andra resultat är att vi härleder utbudet av inlärningshastigheter så att ett steg i riktning mot den exakta naturliga gradienten förbättrar parametrarna i den förväntade konditionen. Vi ser från den nära relationen mellan CMA-ES och naturlig gradient inlärning att standardinställningen av lärandet i CMA-ES verkar lämplig i termer av monoton förbättring i förväntad kondition. Sedan diskuterar vi relationen till ramen för förväntan-maximering och ger en information geometrisk tolkning av CMA-ES. Y. Akimoto ( ) TAO
Akimoto m.fl. REF visade att CMA-ES också kan tolkas som att ta ett naturligt gradientsteg på parametrarna för provtagningsfördelningen.
Theoretical Foundation for CMA-ES from Information Geometry Perspective
{'venue': 'Algorithmica', 'journal': 'Algorithmica', 'mag_field_of_study': ['Computer Science', 'Mathematics']}