Inspirerad av biofysiska principer bakom icke-linjär dendritisk beräkning i neurala kretsar, utvecklar vi ett system för att träna djupa neurala nätverk för att göra dem robusta till kontradiktoriska attacker. Vårt system genererar mycket icke-linjära, mättade neurala nätverk som uppnår toppmoderna prestanda på gradientbaserade kontradiktoriska exempel på MNIST, trots att aldrig utsättas för kontradiktoriskt valda exempel under utbildningen. Dessutom uppvisar dessa nätverk oöverträffad robusthet gentemot riktade, iterativa system för att generera kontradiktoriska exempel, inklusive andra ordningens metoder. Vi identifierar vidare principer som styr hur dessa nätverk uppnår sin robusthet med hjälp av metoder från informationsgeometri. Vi finner att dessa nätverk gradvis skapar mycket platta och komprimerade interna representationer som är känsliga för mycket få ingång dimensioner, samtidigt som lösa uppgiften. Dessutom använder de sig av mycket kurtotiska viktfördelningar, som också finns i hjärnan, och vi visar hur sådan kurtos kan skydda även linjära klassificerare från adversarial attack.
Ickelinjära, mättande neurala nätverk används i REF.
Biologically inspired protection of deep networks from adversarial attacks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science', 'Biology']}