Antag att vi har ett urval av instanser parade med binära etiketter korrumperade av godtyckliga instans-och etikettberoende buller. Med tillräckligt många sådana prover, kan vi på bästa sätt klassificera och rangordna fall med avseende på den bullerfria fördelningen? Vi tillhandahåller en teoretisk analys av denna fråga, med tre huvudsakliga bidrag. För det första visar vi att till exempel beroende buller, någon algoritm som är konsekvent för klassificering på den bullriga fördelningen är också konsekvent på den rena fördelningen. För det andra, vi bevisar att för en bred klass av exempel-och etikettberoende buller, en liknande konsistens resultat håller för området under ROC-kurvan. För det tredje, när det gäller den senare bullermodellen, när den bullerfria klasssannolikheten hör till den generella linjära modellfamiljen, visar vi att Isotron effektivt och på ett tillfredsställande sätt kan lära sig av det korrumperade provet. Med tanke på en instans utrymme X, och träningsprover från viss distribution D över X × {±1}, målet i binärt övervakad lärande är att lära sig en poäng s : X → R med låg risk på framtida prov tagna från D. Beroende på valet av risk, kommer man till praktiskt taget genomgripande problem med binär klassificering [Devroye et al., 1996], klass-sannolikhet uppskattning [Buja et al., 2005] och bipartite ranking [Agarwal och Niyogi, 2005]. Medan standardinställningen förutsätter att tåg- och testdistributionerna är identiska, är ofta utbildningsetiketterna skadade på något sätt, så att träningsproven effektivt kommer från someD = D. Fallet där etiketterna är vända med konstanta eller klassberoende sannolikheter har varit välstuderade av sent [Natarajan et al., 2013, Scott et al., 2013, Menon et al., 2015, van Rooyen et al., 2015, Patrini et al., 2016. Vårt intresse är det fall där träningsetiketter vänds med okända, exempel- och etikettberoende sannolikheter. Denna utmanande miljö studerades nyligen i [Manwani och Sastry, 2013, Ghosh et al., 2015], som konstaterade att vissa icke-konvexa förluster är robusta för sådant buller, förutsatt att den verkliga fördelningen D är separat. Jämfört med det symmetriska och klassvillkorade bullerfallet är dock tre viktiga frågor fortfarande obesvarade. För det första, är lämplig riskminimering på det skadade provet konsekvent för minimering på det rena provet? För det andra, håller konsekvensen för mer allmänna risker, såsom den för bipartite ranking? För det tredje, om vi har mer kunskap om D:s struktur, kan vi utforma effektiva algoritmer för att på ett tydligt sätt lära oss av de skadade proverna? I detta dokument ger vi positiva svar på alla frågor under milda antaganden om bullerprocessen, och ytterligare ett antagande om D för den tredje frågan. Specifikt: • på den teoretiska sidan bevisar vi att: 1 arXiv:1605.00751v2 [cs.LG]
För ett särskilt fall av ILN där ρ +1 (X) = ρ −1 (X) visade REF att Bayes optimala klassificeringar under de rena och bullriga fördelningarna sammanfaller, vilket innebär att varje algoritm som överensstämmer med klassificeringen under den bullriga fördelningen också är konsekvent för klassificeringen under den rena fördelningen.
Learning from Binary Labels with Instance-Dependent Corruption
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}