Trots sin massiva storlek kan framgångsrika djupa artificiella neurala nätverk uppvisa en anmärkningsvärt liten skillnad mellan träning och test prestanda. Konventionell visdom tillskriver små generaliseringsfel antingen till egenskaper hos modellfamiljen, eller till de legaliseringsmetoder som används under utbildningen. Genom omfattande systematiska experiment visar vi hur dessa traditionella metoder misslyckas med att förklara varför stora neurala nätverk generaliseras väl i praktiken. Speciellt, våra experiment visar att state-of-the-art convolutional nätverk för bildklassificering tränas med stokastiska gradient metoder lätt passar en slumpmässig märkning av träningsdata. Detta fenomen är kvalitativt opåverkat av explicit legalisering, och inträffar även om vi ersätter de sanna bilderna med helt ostrukturerat slumpmässigt buller. Vi bekräftar dessa experimentella fynd med en teoretisk konstruktion som visar att enkelt djup två neurala nätverk redan har perfekt finita prov expressivitet så snart antalet parametrar överstiger antalet datapunkter som det vanligtvis gör i praktiken. Vi tolkar våra experimentella resultat i jämförelse med traditionella modeller.
Varför djupa neurala nätverk generalisera väl fortfarande behöver djupare förståelse REF.
Understanding deep learning requires rethinking generalization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}