De distribuerade utbildningssystemen har möjliggjort utbildning av storskaliga modeller över stora mängder data på betydligt kortare tid. I detta dokument fokuserar vi på decentraliserade distribuerade djupinlärningssystem och syftar till att uppnå differentiell integritet med god konvergensgrad och låga kommunikationskostnader. För att uppnå detta mål föreslår vi en ny inlärningsalgoritm LEASGD (Leader-folder Elastic Agenomsnittlig Stochastic Gradient Descent), som drivs av en ny Leader-folder topologi och en differential integritet modell. Vi tillhandahåller en teoretisk analys av konvergensgraden och avvägningen mellan prestanda och integritet i den privata miljön. De experimentella resultaten visar att LEASGD överträffar toppmoderna decentraliserade inlärningsalgoritm DPSGD genom att uppnå stadigt lägre förluster inom samma iterationer och genom att minska kommunikationskostnaderna med 30 %. Dessutom spenderar LeasGD mindre differentierad integritetsbudget och har högre slutnoggrannhet än DPSGD under privat miljö.
Ett annat relaterat arbete är REF, där Cheng et al. föreslog en ny decentraliserad algoritm som heter leader-följare elastisk genomsnittlig stokastisk lutning nedstigning (LEASGD).
LEASGD: an Efficient and Privacy-Preserving Decentralized Algorithm for Distributed Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}