Vi visar teoretiskt och empiriskt att motstående robusthet avsevärt kan dra nytta av halvövervakat lärande. Teoretiskt sett återbesöker vi den enkla Gaussiska modellen av Schmidt et al. [35] som visar ett urvalskomplexitetsgap mellan standardklassificering och robust klassificering. Vi visar att denna lucka inte gäller etiketter: en enkel halvövervakad inlärningsprocedur (självutbildning) uppnår robust noggrannhet med samma antal etiketter som krävs för standardnoggrannhet. Empiriskt förstärker vi CIFAR-10 med 500K omärkta bilder från 80 miljoner Tiny Images och använder robust självträning för att överträffa state-of-the-art robust noggrannhet med över 5 poäng i i) robusthet mot flera starka attacker via kontraarial träning och ii) certifierad 2 och ∞ robusthet genom randomiserad utjämning. På SVHN, att lägga till datasetets egna extra träningsset med etiketterna borttagna ger vinster på 4 till 10 poäng, inom 1 punkt av vinsten från att använda de extra etiketterna också.
På samma sätt visade REF att skillnaden i urvalskomplexitet mellan standardklassificering och robust klassificering kan fyllas genom att använda ytterligare omärkta data i Gaussian-modellen.
Unlabeled Data Improves Adversarial Robustness
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}