Även om stokastisk lutning nedstigning (SGD) metod och dess varianter (t.ex. stokastiska momentum metoder, ADAGRAD) är valet av algoritmer för att lösa icke konvexa problem (särskilt djupt lärande), finns det fortfarande stora luckor mellan teorin och praktiken med många olösta frågor. Det finns till exempel fortfarande en brist på teorier om konvergens för SGD och dess varianter som använder stegvis stegstorlek och returnerar en genomsnittlig lösning i praktiken. Dessutom, teoretiska insikter om varför adaptiv stegstorlek av ADAGRAD skulle kunna förbättra icke-adaptiv stegstorlek av SGD saknas fortfarande för icke-konvex optimering. Syftet med detta dokument är att ta itu med dessa frågor och fylla gapet mellan teori och praktik. Vi föreslår ett universellt stegvist optimeringsramverk för en bred familj av icke-konvexa (nämligen svagt konvexa) problem med följande nyckelfunktioner: (i) i varje steg alla lämpliga stokastiska konvexa optimeringsalgoritmer (t.ex. SGD eller ADAGRAD) som returnerar en genomsnittlig lösning kan användas för att minimera ett legaliserat konvext problem; (ii) stegstorleken minskas stegvis; (iii) en genomsnittlig lösning returneras som den slutliga lösning som väljs från alla etappvis genomsnittliga lösningar med provtagningsprobabiliteter som ökar som stegnummer. Våra teoretiska resultat av scenmässigt ADAGRAD uppvisar sin adaptiva konvergens, därför sprida insikter om sin snabbare konvergens för problem med glesa stokastiska gradienter än scenmässigt SGD. Såvitt vi vet är dessa nya resultat de första i sitt slag för att ta itu med de olösta frågorna i befintliga teorier som nämndes tidigare.
Chen och Al. REF analyserade en allmän ram som använder alla lämpliga stokastiska konvexa optimeringsalgoritmer för att lösa subproblemen, vilket gav flera intressanta resultat för icke-konvexa minimeringsproblem (t.ex. adaptiva gradientmetoder).
Universal Stagewise Learning for Non-Convex Problems with Convergence on Averaged Solutions
{'venue': 'ICLR 2019', 'journal': 'arXiv: Optimization and Control', 'mag_field_of_study': ['Mathematics', 'Computer Science']}