Den alternerande riktningsmetoden för multiplikatorer (ADMM) har nyligen erkänts som ett lovande tillvägagångssätt för storskaliga modeller för maskininlärning. Mycket få resultat studerar dock ADMM när det gäller kommunikationskostnaderna, särskilt tillsammans med körtiden. I detta brev undersöker vi ADMM:s kommunikationseffektivitet och drifttid för att lösa problemet med konsensusoptimering över decentraliserade nätverk. Vi går först igenom arbetet med slumpmässig promenad ADMM (W-ADMM), vilket minskar kommunikationskostnaderna på bekostnad av körtid. För att påskynda konvergenshastigheten för W-ADMM, föreslår vi den parallella slumpmässiga promenaden ADMM (PW-ADMM) algoritm, där flera slumpmässiga promenader är aktiva samtidigt. Dessutom, för att ytterligare minska körtiden för PW-ADMM, föreslås den intelligenta parallella slumpmässiga promenaden ADMM (IPW-ADMM) algoritm genom att integrera Random Walk med Choice med PW-ADMM. Genom numeriska resultat från simuleringar visar vi att de föreslagna algoritmerna kan vara både kommunikationseffektiva och snabba i körhastighet jämfört med toppmoderna metoder. Index Terms-Decentralized nätverk, konsensusoptimering, alternerande riktning metod för multiplikatorer (ADMM).
För att uppnå optimerad avvägning mellan kommunikationskostnader och körtid föreslås ADMM-metod (PW-ADMM) och intelligent PW-ADMM (IPW-ADMM) i REF.
Decentralized Consensus Optimization Based on Parallel Random Walk
{'venue': 'IEEE Communications Letters', 'journal': 'IEEE Communications Letters', 'mag_field_of_study': ['Computer Science']}