Vi ser över valet av SGD för att träna djupa neurala nätverk genom att ompröva den lämpliga geometrin för att optimera vikterna. Vi argumenterar för en geometri invariant till skalning av vikter som inte påverkar utgången av nätverket, och föreslår Path-SGD, som är en ungefärlig brantaste nedstigningsmetod med avseende på en väg-wise regularizer relaterad till max-norm legalisering. Path-SGD är enkelt och effektivt att implementera och leder till empiriska vinster över SGD och AdaGrad.
Slutligen föreslår REF en rescaling invariant väg-wise regularizer och använda den för att härleda Path-SGD, en ungefärlig brantaste nedstigning med avseende på den väg-wise regularizer.
Path-SGD: Path-Normalized Optimization in Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}