Primala och dubbla block koordinat nedstigningsmetoder är iterativa metoder för att lösa legaliserade och oregulariserade optimeringsproblem. Distribuerade-minne parallella implementationer av dessa metoder har blivit populärt i att analysera stora maskininlärning dataset. Befintliga implementationer kommunicerar dock vid varje iteration som, på moderna datacenter och superdatorer arkitekturer, ofta dominerar kostnaden för flytta-punkt beräkning. Nya resultat på kommunikation-undvika Krylov subrymd metoder tyder på att stora hastigheter är möjliga genom att omorganisera iterativa algoritmer för att undvika kommunikation. Vi visar hur tillämpa liknande algoritmiska transformationer kan leda till primal och dual block koordinat nedstigningsmetoder som bara kommunicerar varje s iterationer-där s är en inställning parameter i stället för varje iteration för den regulariserade minst-square problem. Vi härleder kommunikationundvikande varianter av de primära och dubbla block koordinat nedstigningsmetoder som minskar antalet synkroniseringar med en faktor av s på distribuerade-minne parallella maskiner utan att ändra konvergenshastigheten. Våra kommunikationsundvikande algoritmer uppnå modellerade starka skalhastigheter på 14× och 165× på en modern superdator med MPI och Apache Spark, respektive. Våra algoritmer uppnå modellerade svaga skalhastigheter på 12× och 396× på samma maskin med MPI och Apache Spark, respektive.
Devarakonda m.fl. REF härled SA-varianter av primära och dubbla BCD-metoder för L2 legaliserade minst-kvadrater.
Avoiding communication in primal and dual block coordinate descent methods
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}