Vi ser över valet av SGD för att träna djupa neurala nätverk genom att ompröva den lämpliga geometrin för att optimera vikterna. Vi argumenterar för en geometri invariant till skalning av vikter som inte påverkar utgången av nätverket, och föreslår Path-SGD, som är en ungefärlig brantaste nedstigningsmetod med avseende på en väg-wise regularizer relaterad till max-norm legalisering. Path-SGD är enkelt och effektivt att implementera och leder till empiriska vinster över SGD och AdaGrad.
Nyligen föreslår REF att man använder väg normalisering, en ungefärlig väg-regelbunden brant nedstigning med avseende på en väg-wise regularizer relaterad till max-norm legalisering för att uppnå bättre konvergens än vanilj SGD och AdaGrad.
Path-SGD: Path-Normalized Optimization in Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}