Lärande linjära prediktorer med logistiska förlust-både i stokastiska och online-inställningar-är en grundläggande uppgift i maskininlärning och statistik, med direkta kopplingar till klassificering och öka. Befintliga "snabba hastigheter" för denna inställning uppvisar exponentiellt beroende av prediktornormen, och Hazan et al. (2014) visade att detta tyvärr inte kan bevisas. Med början med den enkla observationen att den logistiska förlusten är 1-mixerbar, designar vi en ny effektiv felaktig inlärningsalgoritm för online logistisk regression som kringgår den ovan nämnda nedre gränsen med en ånger bunden uppvisar en dubbel-exponentiell förbättring i beroendet av prediktornormen. Detta ger en positiv lösning på en variant av COLT 2012 öppna problemet McMahan och Streeter (2012) när felaktigt lärande är tillåtet. Denna förbättring uppnås både i online-miljö och, med lite extra arbete, i batch statistik inställning med hög sannolikhet. Vi visar också att det förbättrade beroendet av prediktornorm är nästan optimalt. Utnyttja detta förbättrade beroende av prediktornormen ger följande tillämpningar: a) vi ger algoritmer för online bandit multiclass learning med logistisk förlust med en Õ ( ε n) relativa misstag bundna över i huvudsak alla parameterintervall, vilket ger en lösning på COLT 2009 öppna problemet Abernethy och Rakhlin (2009), och b) vi ger en adaptiv algoritm för online multiclass öka med optimal prov komplexitet, vilket delvis lösa ett öppet problem med Beygelzimer et al. (2015) och Jung m.fl. Kommissionens genomförandeförordning (EU) nr 668/2014 av den 13 juni 2014 om tillämpningsföreskrifter för Europaparlamentets och rådets förordning (EU) nr 1151/2012 om kvalitetsordningar för jordbruksprodukter och livsmedel (EUT L 179, 19.6.2014, s. 1). Slutligen ger vi informationsteoretiska gränser för de optimala hastigheterna för felaktig logistisk regression med allmänna funktionsklasser, vilket kännetecknar i vilken utsträckning vår förbättring för linjära klasser sträcker sig till andra parametriska och till och med icke-parametriska inställningar.
Ett annat tillvägagångssätt beror på REF: de etablerar "1-mixability" av den logistiska förlusten, sedan tillämpa Vovks agregerande algoritm i online-inställningen, och sedan gå vidare via online-till-batch konvertering.
Logistic Regression: The Importance of Being Improper
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}