Vi anser att en icke-stationär variant av en sekventiell stokastisk optimering problem, där de underliggande kostnadsfunktionerna kan förändras längs horisonten. Vi föreslår en åtgärd, kallad variationsbudget, som kontrollerar omfattningen av denna förändring, och studerar hur begränsningar av denna budgeteffekt kan uppnås. Vi identifierar skarpa förhållanden under vilka det är möjligt att uppnå longrun-genomsnittlig optimalitet och mer förfinade prestandamått såsom hastighetsoptimalitet som till fullo kännetecknar komplexiteten i sådana problem. På så sätt etablerar vi också en stark koppling mellan två ganska olikartade delar av litteraturen: motstående online-konvex optimering; och det mer traditionella stokastiska approximationsparadigmet (som ligger i en icke-stationär miljö). Detta samband är nyckeln till en väl fungerande politik i det senare, genom att utnyttja strukturen för optimal politik i det förra. Slutligen, snäva gränser på minimax ånger tillåter oss att kvantifiera "priset för icke-stationaritet", som matematiskt fångar den ökade komplexitet inbäddad i en tidsmässigt föränderlig miljö jämfört med en stationär.
REF var först med att överväga en icke-stationär variant av stokastiska approximeringsmetoder.
Non-stationary Stochastic Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}