Konventionell visdom i djupinlärning säger att ökande djup förbättrar uttrycksfullhet men komplicerar optimering. Detta papper tyder på att, ibland, ökande djup kan påskynda optimering. Effekten av djup på optimering frikopplas från uttrycksfullhet genom att fokusera på inställningar där ytterligare lager uppgår till överparameterisering -linjära neurala nätverk, en välstuderad modell. Teoretisk analys, såväl som experiment, visar att djupet här fungerar som en förkondition som kan påskynda konvergensen. Även på enkla konvexa problem såsom linjär regression med p förlust, p > 2, lutning nedstigning kan dra nytta av övergången till ett icke konvex överparameteriserat mål, mer än det skulle från vissa vanliga accelerationssystem. Vi bevisar också att det är matematiskt omöjligt att få accelerationseffekten av överparametrisering via lutningar av någon regularizer.
REF visar att djupet kan bidra till att påskynda optimeringen.
On the Optimization of Deep Networks: Implicit Acceleration by Overparameterization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}