Även om det finns rikliga teorier om empirisk riskminimering (ERM) för övervakad inlärning, nuvarande teoretiska förståelser av ERM för en relaterad problem-stokastisk konvex optimering (SCO), är begränsade. I detta arbete stärker vi ERM:s område för SCO genom att utnyttja smidighet och starka konvexitetsvillkor för att förbättra riskgränserna. Först etablerar vi en O(d/n + F * /n) risk bunden när den slumpmässiga funktionen är icke-negativ, konvex och smidig, och den förväntade funktionen är Lipschitz kontinuerlig, där d är dimensionaliteten av problemet, n är antalet prover, och F * är den minsta risken. När F * är liten får vi alltså en riskgräns för O(d/n) som är jämförbar med den (1/n) optimistiska ERM-frekvensen för övervakad inlärning. För det andra, om den objektiva funktionen också är λ-starkt konvex, visar vi att en O(d/n + σF * /n) risk är bunden där σ är tillståndsnumret, och förbättra den till O(1/[λn 2 ] + σF * /n) när n =  och ∂(σd). Som ett resultat av detta får vi en O(σ/n 2 ) risk bunden under förutsättning att n är stor och F * är liten, vilket såvitt vi vet, är den första O(1/n 2 )-typ av risk bundet av ERM. För det tredje betonar vi att ovanstående resultat är etablerade inom en enhetlig ram, vilket gör att vi kan få fram nya riskgränser under svagare förhållanden, t.ex. utan konvexitet i den slumpmässiga funktionen och Lipschitz kontinuitet i den förväntade funktionen. Slutligen visar vi att för att uppnå en O(1/[λn 2 ] + σF * /n) risk för övervakat lärande kan kravet på n på n ersättas med  och det är dimensionalitetsoberoende.
I analysen av REF får överskottsrisken inte bara en snabb takt som i tidigare metoder med både smidiga och starkt konvexa egenskapsparametrar, men kan också bevisas uppnå en snabbare hastighet som O 1 N 2 när antalet exempel N är tillräckligt stor, och den förväntade risken för den optimala hypotesen är liten.
Empirical Risk Minimization for Stochastic Convex Optimization: $O(1/n)$- and $O(1/n^2)$-type of Risk Bounds
{'venue': 'COLT', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}