Vi introducerar en ny metod för att utforma beräkningseffektiva inlärningsalgoritmer som är toleranta mot buller, och vi visar dess effektivitet genom att designa algoritmer med förbättrade bullertoleransgarantier för att lära linjära avskiljare. Vi betraktar både den skadliga bullermodellen Valiant [1985] och Kearns och Li [1988] och den kontradiktoriska bullermodellen Kearns, Schapire och Sellie [1994]. För skadligt buller, där motståndaren kan korrumpera både etiketten och funktionerna, ger vi en polynom-tid algoritm för att lära linjära avskiljare i d under isotropa log-konkav fördelningar som kan tolerera en nästan information-teoretiskt optimal brushastighet av η = ( ), förbättra på ( 3 log 2 (d/ ) ) bullertolerans av Klivans et al. Detta beslut träder i kraft den tjugonde dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. I det fall att fördelningen är enhetlig över enheten bollen, förbättrar detta på ( d 1/4 ) bullertolerans av Kalai et al. [2005] och ( 2 logg( d/ ) ) från Klivans et al. [2009a].............................................................. För den kontrariska etiketten bullermodellen, där fördelningen över funktionen vektorer är oförändrad och den totala sannolikheten för en bullrig etikett begränsas till att vara som mest η, ger vi också en polynom-tid algoritm för att lära linjära avskiljare i d under isotropa log-konkav fördelningar som kan hantera en brushastighet av η = ( ). Vid enhetlig fördelning förbättras detta jämfört med resultaten av Kalai et al. [2005], som antingen krävde superexponentiell körtid i 1/ (våra är polynom i 1/ ) eller tolererade mindre buller. 1 Våra algoritmer är också effektiva i den aktiva inlärningsmiljön, där inlärningsalgoritmer endast får klassificeringar av exempel när de ber om dem. Vi visar att i denna modell, våra algoritmer uppnå en etikett komplexitet vars beroende av felparametern är polylogaritmisk (och därmed exponentiellt bättre än någon passiv algoritm). Detta ger den första polynom-tid aktiv inlärning algoritm för att lära linjära avskiljare i närvaro av skadliga buller eller motstående etikett buller. Våra algoritmer och analyser kombinerar flera ingredienser inklusive aggressiv lokalisering, minimering av en gradvis omskalad gångjärnsförlust, och en ny lokaliserad och mjuk utlier borttagning förfarande. Vi använder lokaliseringstekniker (tidigare används för att få bättre prov komplexitet resultat) för att få bättre buller-toleranta polynom-tid algoritmer. 1 Våra resultat förbättras också på tolerabla bullerhastigheter från en tidigare version av detta papper [Awasthi et al. 2014], stängning log factor luckor.
Efter den ursprungliga publiceringen av vårt arbete, Awasthi et al. REF ger en algoritm för aktivt lärande i polynom för att lära sig linjära avskiljare i närvaro av stötdämpande former av buller.
The Power of Localization for Efficiently Learning Linear Separators with Noise
{'venue': 'JACM', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}