En av de avgörande egenskaperna hos djupinlärning är att modeller väljs för att ha många fler parametrar än tillgängliga träningsdata. Mot bakgrund av denna kapacitet för övermontering är det anmärkningsvärt att enkla algoritmer som SGD tillförlitligt returnerar lösningar med lågt testfel. En vägspärr för att förklara dessa fenomen i termer av implicit legalisering, strukturella egenskaper hos lösningen, och / eller lätthet av data är att många inlärningsgränser är kvantitativt vaga när tillämpas på nätverk som lärts av SGD i denna "djup inlärning" regim. För att förklara generaliseringen behöver vi logiskt sett icke-vakulösa gränser. Vi återvänder till en idé av Langford och Caruana (2001), som använde PAC-Bayes gränser för att beräkna icke-vakulösa numeriska gränser på generaliseringsfel för stokastiska två lager två dolda enheter neurala nätverk via en känslighetsanalys. Genom att optimera PAC-Bayes bundna direkt, kan vi utöka deras tillvägagångssätt och få nonvakuous generalization gränser för djupa stokastiska neurala nätverk klassificerare med miljontals parametrar tränade på bara tiotusentals exempel. Vi kopplar våra resultat till nya och gamla arbeten på platta minima och MDL-baserade förklaringar av generalisering.
Dziugaite och Roy REF beräknar icke-vakulösa generalisering gränser från PAC-Bayes gränser.
Computing Nonvacuous Generalization Bounds for Deep (Stochastic) Neural Networks with Many More Parameters than Training Data
{'venue': 'Proceedings of the Thirty-Third Conference on Uncertainty in Artificial Intelligence, UAI 2016, August 11--15, 2017, Sydney, NSW, Australia', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}