Eftersom stokastisk lutning nedstigning (SGD) har visat lovande optimera neurala nätverk med miljontals parametrar och få om några alternativ är kända för att existera, har det flyttat till hjärtat av ledande metoder för att förstärka lärande (RL). Av den anledningen, det senaste resultatet från OpenAI visar att en viss typ av utvecklingsstrategi (ES) kan konkurrera prestanda SGD-baserade djupa RL-metoder med stora neurala nätverk provocerade överraskning. Detta resultat är svårt att tolka delvis på grund av den kvardröjande tvetydigheten om hur ES faktiskt relaterar till SGD. Syftet med detta dokument är att avsevärt minska denna tvetydighet genom en rad MNIST-baserade experiment som syftar till att avslöja deras relation. Som ett enkelt övervakat problem utan domänbuller (till skillnad från de flesta RL) gör MNIST det möjligt (1) att mäta korrelationen mellan gradienter som beräknas av ES och SGD och (2) att sedan utveckla en SGD-baserad proxy som exakt förutser prestandan hos olika ES-populationer. Dessa innovationer ger en ny insikt om ES verkliga kapacitet, och leder också till vissa okonventionella sätt att tillämpa ES på övervakade problem som kastar ytterligare ljus över dess skillnader från SGD. Inbegripet dessa lektioner, avslutar tidningen med att visa att ES kan uppnå 99% noggrannhet på MNIST, ett antal högre än något tidigare publicerat resultat för någon evolutionär metod. Även om det inte på något sätt tyder på att ES bör ersätta SGD vid övervakad inlärning, möjliggör detta experimentsvit mer väl underbyggda beslut om tillämpningen av ES inom RL och andra paradigm.
REF minskade tvetydigheten i förhållandet mellan ES och Stochastic Gradient Descent (SGD), och visade att med tillräcklig beräkning för att approximera lutningen, ES ibland överträffar SGD i djup RL.
On the Relationship Between the OpenAI Evolution Strategy and Stochastic Gradient Descent
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}