Självövervakning ger effektiva representationer för nedströmsuppgifter utan att det krävs etiketter. Befintliga metoder släpar dock efter helt övervakad utbildning och anses ofta inte vara till nytta utöver att undanröja behovet av kommentarer. Vi finner att självtillsyn kan gynna robusthet på många olika sätt, bland annat robusthet mot kontradiktoriska exempel, etikettkorruption och gemensam inputkorruption. Dessutom gynnar självövervakning i hög grad ut-of-distribution upptäckt på svåra, nära-distribution outliers, så mycket att det överskrider prestandan för fullt övervakade metoder. Dessa resultat visar löftet om självövervakning för att förbättra robustheten och osäkerhetsuppskattningen och fastställa dessa uppgifter som nya utvärderingsvägar för framtida självövervakad inlärningsforskning.
Hendrycks m.fl. REF återbesökte SSL ur det robusta lärandeperspektivet, där de empiriskt fann att SSL kan förbättra robustheten på en mängd olika sätt, såsom robusthet till kontradiktoriska exempel, etikettkorruption, gemensam inputkorruption och så vidare.
Using Self-Supervised Learning Can Improve Model Robustness and Uncertainty
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}