Med den växande betydelsen av stora nätverksmodeller och enorma träningsdataset har GPU blivit allt nödvändigare för att träna neurala nätverk. Detta beror till stor del på att konventionella optimeringsalgoritmer bygger på stokastiska gradientmetoder som inte skalas väl till ett stort antal kärnor i en klustermiljö. Dessutom, konvergens av alla gradient metoder, inklusive sats metoder, lider av vanliga problem som mättnad effekter, dålig konditionering, och sadel punkter. Detta papper utforskar en okonventionell utbildningsmetod som använder alternerande riktningsmetoder och Bregman iteration för att träna nätverk utan lutning nedstigning steg. Den föreslagna metoden minskar problemet med nätverksutbildning till en sekvens av minimeringsundersteg som var och en kan lösas globalt i sluten form. Den föreslagna metoden är fördelaktig eftersom den undviker många av de grottor som gör lutningsmetoder långsam på mycket icke-konvexa problem. Metoden uppvisar stark skalning i den distribuerade inställningen, vilket ger linjära speedups även när de delas över tusentals kärnor.
På senare år har Taylor et al. föreslog en metod för att träna neurala nätverk med hjälp av Alternating Direction Method of Multipliers (ADMM) och Bregman iterationer REF.
Training Neural Networks Without Gradients: A Scalable ADMM Approach
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}