Att hitta minsta förvrängning av kontradiktoriska exempel och därmed certifiera robusthet i neurala nätverk klassificerare för givna datapunkter är känt för att vara ett utmanande problem. På senare tid har det dock visat sig vara möjligt att ge en icke-trivial certifierad nedre gräns för minsta kontradiktoriska förvrängning, och vissa framsteg har nyligen gjorts i denna riktning genom att utnyttja den delvis linjära karaktären av ReLU-aktiveringar. En allmän robusthetscertifiering för allmänna aktiveringsfunktioner är dock fortfarande till stor del outforskad. För att ta itu med denna fråga introducerar vi i detta dokument CROWN, en allmän ram för att certifiera robustheten i neurala nätverk med allmänna aktiveringsfunktioner för givna inmatningsdatapunkter. Nyheten i vår algoritm består av att begränsa en given aktiveringsfunktion med linjära och kvadratiska funktioner, vilket gör det möjligt att hantera allmänna aktiveringsfunktioner inklusive men inte begränsat till fyra populära val: ReLU, tanh, sigmoid och arctan. Dessutom underlättar vi sökandet efter en tätare certifierad lägre bundet genom att adaptivt välja lämpliga surrogat för varje neuronaktivering. Experimentella resultat visar att CROWN på ReLU-nätverk kan förbättra de certifierade lägre gränserna jämfört med den nuvarande toppmoderna algoritmen Fast-Lin, samtidigt som den har jämförbar beräkningseffektivitet. Dessutom visar CROWN också sin effektivitet och flexibilitet i nätverk med allmänna aktiveringsfunktioner, inklusive tanh, sigmoid och arctan.
REF intygar att neurala nätverk är robusta med allmänna aktiveringsfunktioner.
Efficient Neural Network Robustness Certification with General Activation Functions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}