Neurala nätverk robusthet har nyligen lyfts fram av förekomsten av kontradiktoriska exempel. Många tidigare arbeten visar att de lärda nätverken inte presterar bra på perturbed testdata, och betydligt mer märkta data krävs för att uppnå motsatt robust generalisering. I den här uppsatsen visar vi teoretiskt och empiriskt att med bara mer omärkta data kan vi lära oss en modell med bättre kontraariskt robust generalisering. Den viktigaste insikten i våra resultat bygger på ett riskdekompositionsteorem, där den förväntade robusta risken är uppdelad i två delar: den stabilitetsdel som mäter prognosstabiliteten i närvaro av störningar, och den noggrannhetsdel som utvärderar standardklassificeringsnoggrannheten. Eftersom stabilitetsdelen inte är beroende av någon etikettinformation kan vi optimera denna del med omärkt data. Vi bevisar vidare att för en specifik Gaussian blandning problem illustreras av [35], kan kontraariskt robust generalisering vara nästan lika lätt som standard generalisering i övervakad lärande om en tillräckligt stor mängd omärkta data tillhandahålls. Inspirerad av de teoretiska resultaten föreslår vi en ny algoritm som kallas PASS genom att utnyttja omärkt data under kontradiktorisk träning. Vi visar att i de transduktiva och halvövervakade inställningarna uppnår PASS högre robust noggrannhet och försvarsframgångar på Cifar-10-uppgiften.
Dessa resultat är samstämmiga med REF, som också finner att lärande med mer omärkta data kan resultera i bättre motsträvigt robust generalisering.
Adversarially Robust Generalization Just Requires More Unlabeled Data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}