Moderna tillämpningar inom känsliga områden som biometri och medicin kräver ofta användning av icke-deponerbara förlustfunktioner såsom precision@k, F-mått etc. Jämfört med punkt förlust funktioner såsom gångjärn-förlust, dessa erbjuder mycket mer finkornig kontroll över förutsägelse, men samtidigt presentera nya utmaningar när det gäller algoritm design och analys. I detta arbete initierar vi en studie av online inlärningstekniker för sådana icke-deponerbara förlustfunktioner i syfte att möjliggöra inkrementellt lärande samt design skalbara lösare för batch problem. I detta syfte föreslår vi en ram för lärande online för sådana förlustfunktioner. Vår modell har flera trevliga egenskaper, främst bland dem förekomsten av effektiva online lärande algoritmer med sublinjär ånger och online till batch omvandling gränser. Vår modell är en påvisbar förlängning av befintliga online-lärande modeller för punktförlustfunktioner. Vi omedelbart två populära förluster, Prec @k och pAUC, i vår modell och bevisa sublinjära ånger gränser för dem båda. Våra bevis kräver en ny strukturell lemma över rangordnade listor som kan vara av oberoende intresse. Vi utvecklar sedan skalbara stokastiska lutningslösare för icke-deponerbara förlustfunktioner. Vi visar att för en stor familj av förlustfunktioner som uppfyller en viss enhetlig konvergens egenskap (som inkluderar Prec @k, pAUC, och F-mått), våra metoder tydligt konvergerar till den empiriska riskminimeringen. Sådana enhetliga konvergensresultat var inte kända för dessa förluster och vi fastställer dessa med hjälp av nya bevistekniker. Vi använder sedan omfattande experiment på verkliga livet och benchmarking dataset för att fastställa att vår metod kan vara storleksordningar snabbare än en nyligen föreslagna skärplan metod.
REF föreslår en algoritm för nedstigning på nätet som kräver funktionsklasser som uppfyller en enhetlig konvergens egenskap, vilket är svårt att verifiera apriori.
Online and Stochastic Gradient Methods for Non-decomposable Loss Functions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}