Motstående träning ökar träningssetet med perturbationer för att förbättra det robusta felet (i värsta fall perturbationer), men det leder ofta till en ökning av standardfelet (vid ogenomträngliga provingångar). Tidigare förklaringar för denna kompromiss bygger på antagandet att ingen prediktor i hypotesklassen har låg standard och robust fel. I detta arbete karakteriserar vi exakt effekten av förstärkning på standardfelet i linjär regression när den optimala linjära prediktorn har noll standard och robust fel. I synnerhet visar vi att standardfelet kan öka även när de förstärkta perturbationer har ljudlösa observationer från den optimala linjära prediktorn. Vi bevisar sedan att den nyligen föreslagna robusta självträning (RST) estimator förbättrar robust fel utan att offra standardfel för bullerfri linjär regression. Empiriskt, för neurala nätverk, finner vi att RST med olika kontradiktoriska träningsmetoder förbättrar både standard och robust fel för slumpmässiga och kontraariska rotationer och motariska ❌ perturbationer i CIFAR-10.
Det senaste arbetet visar att en robust variant av självträning kan minska avvägningen mellan standard- och kontradiktorisk noggrannhet REF.
Understanding and Mitigating the Tradeoff Between Robustness and Accuracy
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}