Alternativa riktningsmetod multiplikatorer (ADMM) är ett populärt optimeringsverktyg för komposit och begränsade problem i maskininlärning. Men i många maskininlärning problem såsom Black-box lärande och bandit feedback, ADMM kan misslyckas eftersom de explicita gradienter av dessa problem är svårt eller till och med omöjligt att få. Zeroth-order (gradientfri) metoder kan effektivt lösa dessa problem på grund av att de objektiva funktionsvärdena endast krävs i optimeringen. Nyligen, även om det finns några nollor-order ADMM metoder, bygger de på konvexiteten av objektiv funktion. Det är uppenbart att dessa befintliga nollordnade metoder är begränsade i många tillämpningar. I tidningen föreslår vi därför en klass av snabba noll-order stokastiska ADMM metoder (dvs. ZO-SVRG-ADMM och ZO-SAGA-ADMM) för att lösa icke konvexa problem med flera icke-smooth sanktioner, baserat på koordinat utjämning gradient uppskattning. Dessutom bevisar vi att både ZO-SVRG-ADMM och ZO-SAGA-ADMM har konvergens av O(1/T ), där T betecknar antalet iterationer. I synnerhet, våra metoder inte bara nå den bästa konvergensen av O(1/T ) för nonconvex optimering, men också kan effektivt lösa många komplexa maskininlärning problem med flera legaliserade sanktioner och begränsningar. Slutligen genomför vi experiment av black-box binär klassificering och strukturerad kontraarial attack på black-box djupa neurala nätverk för att validera effektiviteten av våra algoritmer.
På senare tid har REF föreslagit icke-konvexa ZO-SVRG-ADMM- och ZO-SAGA-ADMM-metoder.
Zeroth-Order Stochastic Alternating Direction Method of Multipliers for Nonconvex Nonsmooth Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}