Det senaste arbetet har utvecklat metoder för att lära sig deep network classifiers som är bevisligen robusta mot normbundet adversarial perturbation, men dessa metoder är för närvarande endast möjliga för relativt små feedforward-nätverk. I detta dokument utvidgar vi tidigare arbete i tre huvudriktningar i ett försök att skala dessa strategier till betydligt större modeller. För det första presenterar vi en teknik för att utvidga dessa utbildningsförfaranden till mycket mer allmänna nätverk, med hoppa anslutningar (såsom ResNets) och allmänna icke-linjäritet; metoden är helt modulär, och kan genomföras automatiskt (analog till automatisk differentiering). För det andra, i det specifika fallet med ņ motariska perturbationer och nätverk med ReLU icke-linjära, antar vi en icke-linjär slumpmässig projektion för utbildning, som skalar linjärt i antalet dolda enheter (tidigare inflygningar skalas kvadratiskt). För det tredje visar vi hur vi ytterligare kan förbättra robusta fel genom kaskadmodeller. På både MNIST- och CIFAR-datauppsättningar utbildar vi klassificerare som väsentligt förbättrar den senaste tekniken i bevisbara robusta kontrarimala felgränsvärden: från 5,8 % till 3,1 % på MNIST (med ∞ perturbationer på = 0,1), och från 80 % till 36,4 % på CIFAR (med ∞ perturbations på = 2/255).
REF utökar ytterligare denna metod till mycket mer allmänna nätverksstrukturer med skip-anslutningar och allmänna icke-linjärheter, och ger en minnesvänlig utbildningsstrategi med hjälp av slumpmässiga prognoser.