Vi undersöker effekten av att explicit genomdriva Lipschitz kontinuitet av neurala nätverk med avseende på deras ingångar. I detta syfte ger vi en enkel teknik för att beräkna en övre gräns till Lipschitz konstant av ett feed forward neural nätverk som består av vanliga lagertyper och visar felaktigheter i tidigare arbete på detta ämne. Vår teknik används sedan för att formulera utbildning ett neuralt nätverk med en avgränsad Lipschitz konstant som ett begränsat optimeringsproblem som kan lösas med projicerade stokastiska gradientmetoder. Vår utvärderingsstudie visar att vår metod, isolerat, fungerar i jämförelse med moderna legaliseringsmetoder. Dessutom, i kombination med befintliga metoder för att legalisera neurala nätverk prestanda vinster är kumulativa. Vi ger också bevis för att hyperparametrarna är intuitiva att ställa in och visa hur valet av norm för beräkning av Lipschitz konstant påverkar den resulterande modellen.
I synnerhet föreslår REF att explicit genomdriva en övre gräns på Lipschitz konstant av neurala nätverk -via operatören norm av viktmatriser - för att förbättra dess prestanda.
Regularisation of Neural Networks by Enforcing Lipschitz Continuity
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}