Djupa neurala nätverk är ökända för att vara känsliga för små väl valda perturbationer, och att uppskatta regelbundenheten i sådana arkitekturer är av yttersta vikt för säkra och robusta praktiska tillämpningar. I detta dokument undersöker vi en av de viktigaste egenskaperna för att bedöma regelbundenheten hos sådana metoder: Lipschitz-konstanten i djupinlärningsarkitekturer. För det första visar vi att även för två lager neurala nätverk, den exakta beräkningen av denna kvantitet är NP-hård och state-of-art metoder kan avsevärt överskatta det. Sedan både utökar och förbättrar vi tidigare skattningsmetoder genom att tillhandahålla AutoLip, den första generiska algoritmen för övre gräns för Lipschitz-konstanten för varje automatiskt differentierad funktion. Vi tillhandahåller en kraftmetodalgoritm som arbetar med automatisk differentiering, vilket möjliggör effektiva beräkningar även på stora konvolutioner. För det andra, för sekventiella neurala nätverk, föreslår vi en förbättrad algoritm som heter SeqLip som utnyttjar den linjära beräkningskurvan för att dela upp beräkningen per par på varandra följande lager. För det tredje föreslår vi heuristik på SeqLip för att ta itu med mycket stora nätverk. Våra experiment visar att SeqLip avsevärt kan förbättra befintliga övre gränser.
Fortfarande använder produkter av lagermässigt Lipschitz konstanter, REF föreslår en förbättring via en finare omformulering för att beräkna Lipschitz konstant av varje lager.
Lipschitz regularity of deep neural networks: analysis and efficient estimation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}