Konvex potentiell minimering är de facto metoden för binär klassificering. Long and Servedio [2010] visade dock att under symmetrisk märkning av buller (SLN) kan minimering av konvex potential över en linjär funktionsklass resultera i klassificeringsprestanda som motsvarar slumpmässig gissning. Detta visar till synes att konvexa förluster inte är SLN-robust. I detta dokument föreslår vi en konvex, klassificeringskalibrerad förlust och bevisar att det är SLN-robust. Förlusten undviker Long and Servedio [2010] resultat genom att vara negativt obegränsad. Förlusten är en ändring av gångjärnsförlusten, där man inte klämmer vid noll; därför kallar vi det den ohingade förlusten. Vi visar att den optimala ohinged lösningen är likvärdig med en starkt regulariserad SVM, och är den begränsande lösningen för alla konvexa potential; detta innebär att stark 2 regularisering gör de flesta standardinlärare SLN-robust. Experiment bekräftar SLN-robustnessen av ohinged förlust. Binär klassificering är det kanoniska övervakade inlärningsproblemet. Med tanke på en instans utrymme X, och prover från viss distribution D över X × {±1}, är målet att lära sig en poäng s : X → R med låg felklassificering fel på framtida prover som dras från D. Vårt intresse är i det mer realistiska scenariot där eleven observerar prover från en distribution D, vilket är en korruption av D där etiketter har någon konstant sannolikhet att vändas. Målet är fortfarande att prestera bra med avseende på den oobserverade distribution D. Detta är känt som problemet med att lära sig från symmetrisk etikett buller (SLN inlärning) [Angluin och Laird, 1988]. Long and Servedio [2010] visade följande negativa resultat på vad som är möjligt i SLN-inlärning: det finns en linjärt separerbar D där, när eleven observerar viss korruption D med symmetriskt etikettljud av en icke-nollfrekvens, minimering av konvex potential över en linjär funktionsklass resulterar i klassificering prestanda på D som är likvärdig med slumpmässig gissning. Detta visar att konvexa förluster inte är "SLN-robust" och motiverar användningen av icke-konvexa förluster [Stempfel och Ralaivola, 2009, Masnadi-Shirazi et al., 2010, Ding och Vishwanathan, 2010, Denchev et al., 2012, Manwani och Sastry, 2013. I detta dokument föreslår vi en konvex förlust och bevisar att det är SLN-robust. Förlusten undviker resultatet av Long and Servedio [2010] på grund av att den är negativt obegränsad. Förlusten är en ändring av gångjärnsförlusten där man inte klämmer vid noll; därför kallar vi det den ohingade förlusten. Vi visar att detta är den unika konvex förlust (upp till skalning och översättning) som uppfyller en uppfattning om "stark SLN-robustness " (Proposition 4). Förutom att vara SLN-robust, har denna förlust flera attraktiva egenskaper, såsom att klassificeras-kalibreras (Proposition 5), konsekvent när minimeras på den korrumperade distributionen (Proposition 6), och har en lätt beräkningsbar optimal lösning som är skillnaden mellan två kärnan medel (Equation 9). Slutligen visar vi att denna optimala lösning är likvärdig med en starkt reglerad SVM (Proposition 7), och ett sådant resultat har mer allmänt för alla två olika konvex potential (Proposition 8), vilket innebär att stark 2 regularisering ger de flesta standardinlärare med SLN-robustness.  Fixa en instans utrymme X. Vi betecknar med D viss fördelning över X × {±1}, med slumpmässiga variabler (X, Y) D. Alla D kan uttryckas via klass-villkoral fördelningar (P, Q) = (P(X  på Y = 1), P(X Y = −1)) och basvärde π = P(Y = 1), eller motsvarande via marginalfördelning M = P(X) och klasssannolikhet funktion η : En poängtagare är någon funktion s : X → R. En förlust är någon funktion : {±1} × R → R. Vi använder −1, 1 för att hänvisa till (−1, ·) och är uppsättningen av -risker för alla poängtagare i S. En funktionsklass är någon F  på R X. Med tanke på vissa F, den uppsättning begränsade Bayes-optimala poängtagare för en förlust är de poängtagare i F som minimerar -risk: Den uppsättning av (obegränsade) Bayes-optimal poängtagare är S D, * = S D, F, * för F = R X. Den begränsade -regret av en målgörare är dess överrisk jämfört med den för alla begränsade Bayes-optimal poängare: Binära klassificering är bekymrad över risken som motsvarar noll-one förlust, 01 : (y, v) → yv < 0 + Problemet med lärande med symmetrisk etikett buller (SLN lärande) är följande [Angluin och Laird, 1988, Kearns, 1998, Blum och Mitchell, 1998, Natarajan et al., 2013. För vissa notionala "ren" distribution D, som vi skulle vilja observera, observerar vi istället prover från vissa korrumperade distribution SLN(D, ρ), för vissa ρ  på [0, 1/2]. Distributionen SLN(D, ρ) är sådan att den marginella fördelningen av instanser är oförändrad, men varje etikett är självständigt vända med sannolikhet ρ. Målet är att lära sig en målskytt från dessa skadade prover så att L D 01 (s) är liten. För varje mängd i D anger vi dess korrumperade motsvarigheter i SLN(D, ρ) med en bar, t.ex. M för den korrumperade marginella fördelningen, och η för den korrumperade klasssannolikhet funktion; dessutom, när ρ är tydlig från sammanhang, kommer vi ibland hänvisa till SLN(D, ρ) av D. Genom definition av korruptionsprocessen, korruption marginalfördelning M = M, och [Natarajan et al., 2013, Lemma 7] 2 3 SLN-robustness: formalisering För våra syften, en inlärare (, F) innebär en förlust, och en funktion klass F, med lärande är sökandet efter vissa s  på F som minimerar -risken. Informellt, eleven (, F) är "robust" till symmetrisk etikett buller (SLN-robust) om minimering över F ger samma klassificering på både ren distribution D, som eleven skulle vilja observera, och SLN (D, ρ) för alla ρ  på [0, 1/2), som eleven faktiskt observerar. Vi formaliserar nu detta begrepp och ser över vad som är känt om SLN-robustinlärares existens. För vissa fasta instans mellanslag X, låt  påvisar uppsättningen fördelningar på X × {±1}. Med tanke på en notional "ren" distribution D, N sln :  på → 2 tillbaka uppsättningen möjliga skadade versioner av D eleven kan observera, där etiketter vänder med okänd sannolikhet ρ: Utrustad med detta, definierar vi vår uppfattning om SLN-robustness. Definition 1 (SLN-robustness). Vi säger att en inlärare Det vill säga, SLN-robustness kräver att för alla nivåer av etikettbuller i den observerade fördelningen D, klassificering prestanda (wrt D) av inläraren är samma som om inläraren direkt observerar D. Tyvärr, som vi nu kommer att se, en allmänt antagen klass av inlärare är inte SLN-robust. Fix X = R d, och överväga elever som använder en konvex potential, och en funktionsklass av linjära poängtagare Detta fångar t.ex.. linjär SVM och logistisk regression, som är allmänt studerade i teori och tillämpas i praktiken. Tyvärr är dessa elever inte SLN-robust: Long and Servedio [2010, Theorem 2] ge ett exempel där, när man lär sig under symmetrisk etikett buller, för någon konvex potential, den skadade -riskminimer över F lin har klassificering prestanda motsvarande slumpmässig gissning på D. Detta innebär att (, F lin ) inte SLN-robust 1 enligt definition 1. (Alla bevis finns i tillägg A.) Den utbredda praktiska användningen av konvexa potentiella inlärare gör Proposition 1 till ett nedslående resultat och motiverar sökandet efter andra inlärare som är SLN-robust. Mot bakgrund av Proposition 1 finns det två sätt att gå vidare för att få SLN-robust elever: antingen ändrar vi klassen av förluster, eller vi ändrar funktionen klass F. Den första metoden har följts i en stor mängd arbete som omfattar icke-konvexa förluster [Stempfel och Ralaivola, 2009, Masnadi-Shirazi et al., 2010, Ding och Vishwanathan, 2010, Denchev et al., 2012, Manwani och Sastry, 2013. Även om sådana förluster undviker villkoren för Proposition 1, innebär detta inte automatiskt att de är SLN-robust när de används med F lin. I bilaga B lägger vi fram bevis för att vissa av dessa förluster i själva verket inte SLN-robust när de används med F lin. Den andra metoden är att istället överväga lämpligt rik F som innehåller Bayes-optimal poängskytt för D, t.ex. genom att använda en universell kärna. Med detta val kan man fortfarande använda en konvex potentiell förlust; i själva verket, på grund av ekvation 2, med användning av någon klassificering-kalibrerad förlust kommer att resultera i en SLN-robust eleven när F = R X. 1 Även om vi försvagar uppfattningen om SLN-robustness för att möjliggöra en skillnad på 0, 1/2) mellan de rena och korrumperade minimers prestanda, Long och Servedio [2010, Theorem 2] innebär att i värsta fall = 1/2. 3 Förslag 2. Välj någon klassificering-kalibrerad. Sedan, (, R X ) är SLN-robust. Båda tillvägagångssätten har nackdelar. Den första metoden har en beräkningspåföljd, eftersom det kräver optimering av en icke-konvex förlust. Den andra metoden har en statistisk straffavgift, eftersom skattningsfrekvens med en rik F kommer att kräva en större urvalsstorlek. Det förefaller således som om SLN-robustness innebär en beräkningsmässig-statistisk kompromiss. Det finns dock en variant av det första alternativet: välj en förlust som är konvex, men inte en konvex potential. Om en SLN-robust förlust av denna typ finns, ger det beräkningsmässiga och statistiska fördelar att minimera konvexa risker med linjära poängtagare. Manwani och Sastry [2013] visade att kvadratförlust, (y, v) = (1 − yv) 2, är en sådan förlust. Vi kommer att visa att det finns en enklare förlust som är på liknande sätt konvex, klassificering-kalibrerad, och SLN-robust, men är inte i klassen av konvex potential på grund av att vara negativt obunden. För att härleda denna förlust är det bra att tolka robustheten i form av ett bullerkorrigeringsförfarande för förlustfunktioner. Definitionen av SLN-robustness (ekvation 3) innebär optimala poängtagare med samma förlust över två olika fördelningar. Vi åter-uttrycker nu detta för att resonera om optimala poängtagare på samma fördelning, men med två olika förluster. Detta kommer att bidra till att karakterisera den uppsättning förluster som är SLN-robust. Med tanke på varje ρ  till [0, 1/2], Natarajan et al. [2013, Lemma 1] visade hur man associerar med en förlust en buller-Förlusten definieras enligt följande. Definition 2 (bruskorrigerad förlust). Med tanke på eventuell förlust och ρ  till [0, 1/2], den bullerkorrigerade förlusten är Eftersom beror på den okända parametern ρ, är det inte direkt användbart för att designa en SLN-robust inlärare. Det är dock en användbar teoretisk konstruktion, eftersom riskekvivalenten mellan L D (s) och L D (s) innebär att för varje F, minimering av -risken på D över F är likvärdig med minimering av -risken på D över F, dvs.. S D, F, * = S D, F, *. Med detta kan vi åter-uttrycka SLN-robustness av en inlärare (, F) som Denna omformulering är användbar, eftersom att karakterisera SLN-robustness av (, F), kan vi nu överväga villkor på sådan att och dess bullerkorrigerade motsvarighet inducera samma begränsade Bayes-optimala poängtagare. Manwani och Sastry [2013, Theorem 1] bevisade ett tillräckligt villkor på sådan att Ekvation 5 innehar, nämligen, För en sådan förlust, är en skalad och översatt version av, Så att trivialt S D,F, * = S D,F, *. Helst skulle man vilja karakterisera när ekvation 5 håller. Även om detta är en öppen fråga, intressant nog, kan vi visa att under ett starkare krav på förluster och, Villkoret i ekvation 6 är också nödvändigt. Det starkare kravet är att motsvarande risker beställer alla stokastiska poängsättare på samma sätt. En stokastisk målskytt är helt enkelt en kartläggning f : X →  på R, där R är uppsättningen av fördelningar över reals. I ett litet missbruk av notation, vi betecknar -stochastic risken för f genom Utrustad med detta, definierar vi en uppfattning om ordning ekvivalens av förlust par. Definition 3 (Order motsvarande förlustpar). Vi säger att ett par förluster (,  till ) är order motsvarande om Helt klart, om två förluster är order motsvarande, deras motsvarande risker har samma begränsade mindervärden. Följaktligen, om (, ) är orderekvivalent för varje ρ  till [0, 1/2], innebär detta att S D,F, * = S D,F, * för alla F, vilket genom ekvation 5 innebär att för alla F, eleven (, F) är SLN-robust. Vi kan därför tänka på ordningen likvärdighet av (, ) som innebär stark SLN-robustness av en förlust. Definition 4 (Stark SLN-robustness). Vi säger en förlust är starkt SLN-robust om för varje ρ  till [0, 1/2], (, ) är orderekvivalent. Vi fastställer att det tillräckliga villkoret för ekvation 6 också är nödvändigt för stark SLN-robustness av. Vi återvänder nu till vårt ursprungliga mål, som var att hitta en konvex som är SLN-robust för F lin (och helst mer allmänna funktionsklasser). Ovanstående tyder på att det är rimligt att betrakta de förluster som uppfyller kraven i punkt 6 som godtagbara. Tyvärr är det uppenbart att om det är konvext, icke-konstant och avgränsat under noll, då kan det omöjligen vara tillåtligt i denna mening. Men vi visar nu att avlägsnandet av begränsningen av begränsningen medger att det finns en konvex godtagbar förlust. 5 Den ohinged förlust: en konvex, klassificering kalibrerad, starkt SLNrobust förlust Betrakta följande enkla, men icke-standard konvex förlust: En säregen egenskap av förlusten är att den är negativt obegränsad, en fråga som vi diskuterar i §5.3. Jämfört med gångjärnsförlusten klämmer inte förlusten vid noll, dvs. Den har inget gångjärn. Således kallar vi detta den ohinged förlust 2. Förlusten har ett antal attraktiva egenskaper, varav den mest omedelbara är dess SLN-robustness. Eftersom unh 1 (v) + unh −1 (v) = 0 drar vi slutsatsen från Proposition 3 att unh är starkt SLN-robust, och därmed att ( unh, F) är SLN-robust för alla val av F. Vidare är följande unika egenskap inte svårt att visa. Förslag 4. Välj någon konvex förlust. Sedan, Det vill säga, upp till skalning och översättning, unh är den enda konvexa förlust som är starkt SLN-robust. Återvänder till fallet med linjära poängtagare, innebär ovanstående att ( unh, F lin ) är SLN-robust. Detta motsäger inte Proposition 1, eftersom unh inte är en konvex potential eftersom den är negativt obegränsad. Intuitivt gör denna egendom att förlusten kan kompensera för den höga påföljd som uppstår i fall som är felklassificerade med hög marginal genom att möjliggöra en hög vinst för fall som korrekt klassificeras med hög marginal. 2 Denna förlust har beaktats i Sriperumbudur et al. [2009], Reid och Williamson [2011] i samband med största genomsnittliga avvikelse; se bilaga E.4. Analysen av dess SLN-robustness är till vår kunskapsrobustness. 5 SLN-robustness är i sig otillräcklig för att en inlärare ska vara användbar. Till exempel är en förlust som är jämnt noll starkt SLN-robust, men är värdelös eftersom den inte är klassificering-kalibrerad. Lyckligtvis kalibreras den ohingade förlusten, som vi nu fastställer. Av skäl som ska diskuteras senare, anser vi minimering av risken över F B = [−B, +B] X, den uppsättning poängtagare med intervall som begränsas av B  på [0, ∞]. Således har den begränsade Bayes-optimal poängskytten över F B samma tecken som Bayesoptimal classifier för 0-1 förlust för varje B. I det begränsande fallet där F = R X, är den optimala poängsättaren uppnåelig om vi arbetar över den förlängda reals R  på {±∞}, i vilket fall vi kan dra slutsatsen att unh är klassificering kalibrerad. Även om klassificeringen-kalibrering av unh är uppmuntrande, Proposition 5 innebär att dess (obegränsad) Bayesrisk är −∞. Därför är varje icke-optimal poängtagares beklagande identiskt +∞, vilket hämmar analysen av konsekvensen. I ortodox beslutsteori uppstår liknande teoretiska frågor när man försöker etablera grundläggande teorem med obundna förluster [Ferguson, 1967, pg. 78), [Schervish, 1995, pg. [varav: 172] Vi kan kringgå denna fråga genom att begränsa uppmärksamheten till avgränsade målare, så att unh effektivt begränsas. Genom förslag 5 påverkar detta inte klassificeringskalibreringen av förlusten. I samband med linjära poängsättare, kan begränsning av poängsättare uppnås genom legalisering: istället för att arbeta med F lin, kan man istället använda Observera att begränsning till avgränsade poängtagare inte påverkar SLN-robustness av unh, eftersom ( unh, F) är SLN-robust för alla F. Således, till exempel ( unh, F lin,λ ) är SLN-robust för alla λ > 0. Som vi skall se i punkt 6.3 låter vi också genom att arbeta med F lin,λ etablera SLN-robustness av gångjärnsförlusten när λ är stor. Med hjälp av begränsade poäng gör det möjligt att fastställa en surrogat ånger bundna för den ohinged förlust. Detta visar klassificering konsekvens av ohinged förlustminimering på den korrumperade distributionen.  Standardhastigheter för konvergens via generaliseringsgränser är också triviala att härleda; se bilaga D. Vi vänder oss nu till frågan om hur man minimerar den ohingade förlusten när man använder en kärnoriserad poängtagare. Vi visar nu att den optimala lösningen för den ohinged förlusten vid användning av legalisering och kärnor har en enkel form. Detta kastar ytterligare ljus över SLN-robustness och legalisering. Överväg att minimera den ohinged risken över någon boll i en reproducerande kärna Hilbert utrymme H med kärnan k, d.v.s. Betrakta funktionsklassen för kärnorna F H,λ = {s : x → w, 0(x) H  för vissa λ > 0, där 0 : X → H är någon funktionskartläggning. Likvärdigt, med tanke på en distribution 3 D, vi vill 3 Med tanke på en utbildning prov S  på D n, Vi kan använda plugin uppskattningar som lämpligt. Den första ordningen optimalitet villkoret innebär att Således, den optimala målgöraren för den ohinged förlusten är helt enkelt Det är, vi poäng ett fall baserat på skillnaden i den aggregerade likheten med de positiva fallen, och den aggregerade likheten med de negativa fallen. Detta motsvarar en närmaste centroidklassificerare [Manning et al., 2008, pg. 181 ger ett enkelt sätt att förstå SLN-robustness av ( unh, F H,λ ): det är lätt att fastställa (se bilaga C) att de optimala poängsättarna på de rena och korrumperade distributionerna bara skiljer sig åt genom en skalning, dvs.. Vi noterar flera punkter som rör praktisk användning av den ohingade förlusten med kärnor. För det första krävs inte korsvalidering för att välja λ, eftersom s * unh,λ beror trivialt på regulariseringen konstant: att ändra λ bara ändrar storleken på poäng, inte deras tecken. Således kontrollerar legalisering helt enkelt skalan av de förutsagda poängen, och för klassificering kan man helt enkelt använda λ = 1. För det andra kan vi enkelt förlänga poängsättarna till att använda en förvrängning regulariserad med styrka 0 < λ b = λ. Tuning λ b är likvärdig med computing s * unh,λ enligt ekvation 9 och inställning av en tröskel på en holdout set. För det tredje, när H = R d för d liten, kan vi lagra w * unh,λ explicit, och använda detta för att göra förutsägelser. För hög (eller oändlig) dimensional H kan vi göra förutsägelser direkt via ekvation 9. Men när du lär dig med ett träningsprov S  på D n, skulle detta kräva lagring av hela provet för användning vid testtid, vilket är oönskat. För att lindra detta, för en översättning-invariant kärna kan man använda slumpmässiga Fourier funktioner [Rahimi och Recht, 2007] för att hitta en ungefärlig inbäddning av H i några lågdimensionella R d, och sedan lagra w * unh,λ som vanligt. Alternativt kan man post hoc söka efter en gles approximation till w * unh,λ, till exempel genom att använda kärnbesättning [Chen et al., 2012]. Vi visar nu att enligt vissa antaganden, w * unh,λ sammanfaller med lösningen av två etablerade metoder; Bilaga E diskuterar några ytterligare relationer, t.ex. till den största genomsnittliga avvikelsen. Det finns en intressant motsvarighet mellan den ohinged lösningen och en mycket legaliserad SVM. Förslag 7. Välj alla D och 0 : X → H sådan att R = sup x-X -(x)-(x)-(x)-(x)-(x)-(x)-(x)-)-(x)-(x)-)-(x)-(x)-)-(x)-(x)-)-(x)-(x)-)-(x)-(x)-)-(x)-)-(x)-(x)-)-(x)-)-(x)-(x)-(x)-)-(x)-)-(x)-(x)-)-(x)-)-(x)-)-(x)-)-(x)-)-(x)-)-(x)-)-(x)-)-(x)-)-(-)-)-(-)-)-(-)-)-(-)-(-)-)-(-)-)-(-)-)-(-)-(-)-)-(-)-(-)-)-(-)-)-(-)-)-(-)-)-)-(-)-)-(-)-)-)-(-)-)-)-(-)-)-(-)-)-(-)-)-)-)-)-(-(-)-(-)-)-)-(-)-)-(-)-)-(-)-)-)-)-)-(-)-)-)-(-)-)-)-)-)-)-)-)-)-(-)-)-)-)-)-)-(-)-)--)-)-)-)-)-)-)-)-)-)-(-)-)-)-)-(-(-)-)-(-(-(-)-)-)-(-)-)-)-)-)-)-(-(-(-(-(-)-(-)-)-)-)-)-)-(-(-)- För alla λ > 0, låt Eftersom vi vet att ( unh, F H,λ ) är SLN-robust, följer det omedelbart att för gångjärn : (y, v) → max(0, 1− yv), ( gångjärn, F H,λ ) är på liknande sätt SLN-robust förutsatt att λ är tillräckligt stor. Det vill säga, stark 2 legalisering (och en begränsad funktion karta) ger gångjärnsförlust med SLN-robustness 4. Proposition 7 kan generaliseras för att visa att med tillräckligt stark legalisering kommer den begränsande lösningen av två olika konvexa potentialer att vara den ohingade lösningen, dvs. , Centroid klassificeraren. Intuitivt, med stark legalisering, betraktar man bara beteendet hos en förlust nära noll; men eftersom en konvex 4 Däremot, Long och Servedio [2010, avsnitt 6] fastslår att 1 legalisering inte ger SLN-robustness. 7 Potentiellt har A (0) < 0, det kommer att vara väl approximerad av den ohinged förlusten nära noll (som helt enkelt är linjär approximation till  ska). Detta visar att stark två legalisering ger de flesta inlärare SLNrobustness. Förslag 8. Välj vilken D som helst, avgränsad funktionskartläggning 0 : X → H, och två olika konvex potential. Låta v *  och λ vara den minsta av den legaliserade risken. Då, Kom ihåg att för binär klassificering på D M,η, Fisher Linear Discriminant (FLD) finner en vikt vektor proportionell mot den minimala av kvadratförlust Vi illustrerar nu att SLN-robustness av ohinged förlust är empiriskt manifesterad. Vi upprepar att med hög legalisering, den ohinged lösningen är likvärdig med en SVM (och i gränsen till någon klassificering kalibrerad förlust) lösning. Experimenten syftar således inte till att hävda att den ohinged förlusten är "bättre" än andra förluster, utan snarare till att visa att dess SLN-robustness inte är rent teoretisk. Vi visar först att den ohinged riskminimern presterar bra på exemplet Long and Servedio [2010]. Figur 1 visar fördelningen D, där X = {( 1, 0), (γ, 5γ), (γ, −γ)} R 2, med marginalfördelning M = { 1 4, 1 4, 1 2 } och alla tre fallen är deterministiskt positiva. Vi väljer γ = 1/2. Från figur 1, Vi ser den ohinged minimaler perfekt klassificerar alla tre punkter, oavsett nivån av etikettbuller. Gångjärnet riskminimering är perfekt när det inte finns någon etikett buller, men med även en liten mängd etikett buller, uppnår en felfrekvens på 50%. Hange t-logistic Unhinged ρ = 0 0.00 ± 0,00 0.00 ± 0.00 ± 0.00 ρ = 0,1 0,15 ± 0,27 0.00 ± 0.00 ± 0.00 ρ = 0,2 0,21 ± 0,30 0.00 ± 0.00 ρ = 0,3 0,38 ± 0,37 0,22 ± 0,08 0.00 ± ρ = 0,4 0,42 ± 0,36 0,22 ± 0,08 0.00 ± 0,47 ± 0,38 ± 0,39 ± 0,33 ± 0,34 ± 0,48 Vi bedömer nästa minimerande av den empiriska risken från ett slumpmässigt träningsprov: vi konstruerar en träningsuppsättning av 800 fall, injiceras med varierande nivåer av etikettbuller, och utvärdera klassificeringsprestanda på en testuppsättning av 1000 fall. Vi jämför gångjärn, t-logistik (för t = 2) [Ding och Vishwanathan, 2010] och ohinged minderiors. För varje förlust använder vi en linjär poängtagare utan en sned term, och ställer in regulariseringsstyrkan λ = 10 −16. Från tabell 1, Det är uppenbart att även vid 40% etikett buller, den ohinged klassificerare kan hitta en perfekt lösning. Däremot drabbas båda andra förluster av till och med måttliga bullernivåer. Vi nästa rapport resultat på vissa UCI dataset, där vi dessutom justera en tröskel för att säkerställa den bästa utbildning uppsättningen 0-1 noggrannhet. I tabell 2 sammanfattas resultaten på ett urval av fyra datauppsättningar. (Tillägg H innehåller resultat med fler datauppsättningar, prestandamått och förluster.) Även om den ohinged förlusten ibland överträffas vid lågt buller, tenderar den att vara mycket mer robust vid höga bullernivåer: även vid buller nära 50 %, kan den ofta lära sig en klassificerare med viss diskriminerande effekt.  Vi har föreslagit en konvex, klassificeringskalibrerad förlust, visat att är robust för symmetrisk märkning buller (SLN-robust), visat att det är den unika förlust som uppfyller en uppfattning om stark SLN-robustness, fastställt att den optimeras av närmaste centroid klassificerare, och också visat hur arten av den optimala lösningen innebär att de flesta konvexa potentialer, såsom SVM, är också SLN-robust när hög legaliserade. I det framtida arbetet ingår att studera förluster som är robusta mot asymmetriskt buller, och avvikelser från exempelvis rymden. 9 Erkännanden
Ohinged förlust, en konvex förlust (som inte är konvex potential), är robust till symmetrisk märkning buller REF.
Learning with Symmetric Label Noise: The Importance of Being Unhinged
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}