I detta papper föreslår vi en stokastisk optimeringsmetod som adaptivt kontrollerar den provstorlek som används vid beräkning av gradient approximationer. Till skillnad från andra variansreduktionsmetoder som antingen kräver ytterligare lagring eller regelbunden beräkning av hela gradienter, minskar den föreslagna metoden variansen genom att öka provstorleken vid behov. Beslutet att öka provstorleken styrs av ett inre produkttest som säkerställer att sökriktningarna är nedstigningsriktningar med stor sannolikhet. Vi visar att det inre produkttestet förbättras på det välkända normtestet, och kan användas som grund för en algoritm som är globalt konvergerande på icke konvexa funktioner och har en global linjär konvergenshastighet på starkt konvexa funktioner. Numeriska experiment på logistiska regressionsproblem illustrerar algoritmens prestanda.
Mer nyligen, i REF, författarna infört en första order algoritm för okonstruerade stokastiska konvexa program som innebär att välja urval storlek beroende på en inre produkt test för att hitta en nedstigning riktning med hög sannolikhet.
Adaptive Sampling Strategies for Stochastic Optimization
{'venue': None, 'journal': 'arXiv: Optimization and Control', 'mag_field_of_study': ['Computer Science', 'Mathematics']}