Djupt lärande ger toppmoderna resultat i många uppgifter inom datorseende och bearbetning av naturligt språk. På senare tid har det dock visat sig att djupa nätverk kan vara sårbara för motsträviga störningar som väcker allvarliga problem med de djupa nätens robusthet. Motståndskraftig träning, typiskt formulerad som ett robust optimeringsproblem, är ett effektivt sätt att förbättra robustheten i djupa nätverk. En stor nackdel med befintliga kontradiktoriska utbildningsalgoritmer är de beräkningsmässiga omkostnaderna för generering av kontradiktoriska exempel, vanligtvis mycket större än nätverksutbildningen. Detta leder till outhärdliga totala beräkningskostnader för kontradiktorisk utbildning. I den här artikeln visar vi att kontradiktorisk träning kan spelas som ett diskret tidsdifferentialspel. Genom att analysera Pontryagin's Maximum Principe (PMP) av problemet, observerar vi att motståndaren uppdateringen endast är kopplad med parametrarna i det första lagret av nätverket. Detta inspirerar oss att begränsa det mesta av den framåt- och bakåtutbredning inom första lagret av nätverket under motståndare uppdateringar. Detta minskar effektivt det totala antalet full framåt- och bakåtutbredning till endast en för varje grupp av motståndare uppdateringar. Därför hänvisar vi till denna algoritm YOPO (You Only Propagate En gång). Numeriska experiment visar att YOPO kan uppnå jämförbar försvar noggrannhet med cirka 1/5 GPU tid av den beräknade lutning nedstigning (PGD) algoritm [16]. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning.
Nyligen, kontradiktorisk utbildning påskyndades genom att formulera det som en diskret tid differentialspel REF.
You Only Propagate Once: Accelerating Adversarial Training via Maximal Principle
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}