Ryggförökningsalgoritmen används i stor utsträckning för inlärning i artificiella neurala nätverk. En utmaning inom maskininlärning är att skapa modeller som generaliserar till nya dataprover som inte syns i träningsdata. Nyligen upptäcktes en vanlig brist i flera maskininlärningsalgoritmer: små perturbationer som lagts till inmatningsdata leder till konsekvent felklassificering av dataprover. Prover som lätt vilseleder modellen kallas kontradiktoriska exempel. Att utbilda ett "max-out"-nätverk på kontradiktoriska exempel har visat sig minska denna sårbarhet, men också öka klassificeringsprestandan. Denna uppsats visar att kontradiktorisk träning har en regulariserande effekt även i nätverk med logistiska, hyperboliska tangenter och rättade linjära enheter. En enkel förlängning av metoden för back-förökning föreslås, som lägger till en motsatt lutning till träningen. Förlängningen kräver ytterligare ett framåt- och bakåtpass för att beräkna ett modifierat ingångsprov, eller miniparti, som används som indata för standardbakåtförökningsinlärning. De första experimentella resultaten på MNIST visar att metoden "adversarial back-propagation" ökar motståndskraften mot kontradiktoriska exempel och ökar klassificeringsprestandan. Förlängningen minskar klassificeringsfelet på permutationsinvarianten MNIST från 1,60 % till 0,95 % i ett logistiskt nätverk och från 1,40 % till 0,78 % i ett nät med rättade linjära enheter. Resultat på CIFAR-10 indikerar att metoden har en regulariserande effekt som liknar avhopp i fullt uppkopplade nätverk. Baserat på dessa lovande resultat föreslås kontrarimal back-propagation som en fristående legaliseringsmetod som bör undersökas vidare.
Nokland REF föreslog en modifierad backpropagationsalgoritm för att förbättra generaliseringen genom att lägga till en motsatt gradient till inlärningsobjektets funktion.
Improving Back-Propagation by Adding an Adversarial Gradient
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}