Med målet att förstå vad som driver generalisering i djupa nätverk, anser vi flera nyligen föreslagna förklaringar, inklusive normbaserad kontroll, skärpa och robusthet. Vi studerar hur dessa åtgärder kan säkerställa generalisering, belysa betydelsen av skalan normalisering, och göra en koppling mellan skärpa och PAC-Bayes teori. Vi undersöker sedan hur väl åtgärderna förklarar olika observerade fenomen.
Neyshabur m.fl. utforska flera metoder som kan förklara generalisering förmåga djupa neurala nätverk, inklusive norm-baserad kontroll, skärpa, och robusthet REF.
Exploring Generalization in Deep Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}