Bakgrund: Det är fortfarande ett öppet forskningsområde att teoretiskt förstå varför Deep Neural Networks (DNNs)-utrustade med många fler parametrar än utbildningsdata och utbildade av (stochastic) gradient-baserade metoder-ofta uppnå anmärkningsvärt låga generaliseringsfel. Bidrag: Vi studerar DNN utbildning av Fourier analys. Vårt teoretiska ramverk förklarar: i) DNN med (stokastiska) gradientbaserade metoder ger ofta lågfrekventa komponenter i målfunktionen med högre prioritet under träningen; ii) Liten initiering leder till god generaliseringsförmåga hos DNN samtidigt som DNN:s förmåga att passa alla funktioner bevaras. Dessa resultat bekräftas ytterligare genom experiment av DNN som monterar följande dataset, det vill säga naturliga bilder, endimensionella funktioner och MNIST dataset.
Den Fourier analys REF tillämpades för att förklara generaliseringen av DNNs lärt av stokastisk lutning nedstigning.
Understanding training and generalization in deep learning by Fourier analysis
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}