Folk tror att djup spelar en viktig roll för framgång för djupa neurala nätverk (DNN). Denna uppfattning saknar emellertid en solid teoretisk motivering så vitt vi vet. Vi undersöker djupets roll ur ett marginalbundet perspektiv. I marginalbundet är det förväntade felet övre gräns för empiriskt marginalfel plus Rademachers genomsnittliga kapacitetstermin (RA). Först får vi en övre gräns för RA av DNN, och visar att den ökar med ökande djup. Detta indikerar negativ påverkan av djupet på testprestandan. För det andra visar vi att djupare nätverk tenderar att ha större representationskraft (mätt med Batti talbaserad komplexitet) än grundare nätverk i flerklassmiljö, och därmed kan leda till mindre empiriska marginalfel. Detta innebär en positiv inverkan av djupet. Kombinationen av dessa två resultat visar att för DNN med begränsat antal dolda enheter är ökande djup inte alltid bra eftersom det finns en avvägning mellan positiva och negativa effekter. Dessa resultat inspirerar oss att söka alternativa sätt att uppnå positiv effekt av djup, t.ex. att införa marginalbaserade straffvillkor för korsentropiförlust för att minska empiriska marginalfel utan att öka djupet. Våra experiment visar att vi på detta sätt uppnår betydligt bättre testprestanda.
Sol och al. REF studerar teoretiskt en marginal i DNN:s produktionsskikt och föreslår ett sätt att minska empiriska marginalfel.
On the Depth of Deep Neural Networks: A Theoretical View
{'venue': 'AAAI', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}