I hjärtat av djupt lärande syftar vi till att använda neurala nätverk som funktion approximatorer - utbildning dem att producera resultat från ingångar i emulering av en marksanning funktion eller data skapande process. I många fall har vi bara tillgång till input-output par från marken sanningen, men det blir allt vanligare att ha tillgång till derivat av målet utdata med avseende på input -till exempel när marken sanningsfunktionen i sig är ett neuralt nätverk såsom i nätverk kompression eller destillation. I allmänhet är dessa målderivat inte beräknade, eller ignoreras. Detta dokument introducerar Sobolev Utbildning för neurala nätverk, som är en metod för att införliva dessa målderivat förutom att målvärden under utbildningen. Genom att optimera neurala nätverk för att inte bara approximera funktionens utgångar utan även funktionens derivat kan vi koda ytterligare information om målfunktionen inom parametrarna i det neurala nätverket. Därmed kan vi förbättra kvaliteten på våra prediktorer, samt dataeffektivitet och generalisering kapacitet för vår lärda funktion approximation. Vi tillhandahåller teoretiska motiveringar för ett sådant tillvägagångssätt samt exempel på empiriska bevis på tre skilda områden: regression på klassiska optimeringsdata, destillering av en agent som spelar Atari och storskaliga tillämpningar av syntetiska gradienter. Inom alla tre områdena används Sobolev Training, med användning av målderivat utöver målvärden, resulterar i modeller med högre noggrannhet och starkare generalisering.
Dessutom tog Ref derivat av förlusten med avseende på indata som den kunskap som skulle överföras.
Sobolev Training for Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}