I storskaligt distribuerat lärande har säkerhetsfrågor blivit allt viktigare. Särskilt i en decentraliserad miljö, vissa datorenheter kan bete sig onormalt, eller ens uppvisar Bysantinska misslyckanden-arbiträra och potentiellt kontradiktoriskt beteende. I detta dokument utvecklar vi distribuerade inlärningsalgoritmer som är bevisligen robusta mot sådana misslyckanden, med fokus på att uppnå optimal statistisk prestanda. Ett huvudresultat av detta arbete är en skarp analys av två robusta distribuerade lutning nedstigningsalgoritmer baserade på median och trimmade genomsnittliga operationer, respektive. Vi bevisar statistiska felfrekvenser för tre typer av funktioner för befolkningsförlust: starkt konvexa, icke-starkt konvexa och smidiga icke-konvexa. I synnerhet visas dessa algoritmer för att uppnå orderoptimala statistiska felfrekvenser för starkt konvexa förluster. För att uppnå bättre kommunikationseffektivitet föreslår vi vidare en medianbaserad distribuerad algoritm som är bevisligen robust och som endast använder en kommunikationsrunda. För starkt konvex quadratic förlust, visar vi att denna algoritm uppnår samma optimala felfrekvens som robust distribuerad lutning nedstigning algoritmer.
Exempelvis gav författarna i REF en skarp analys av de statistiska felfrekvenserna för två bysantinska-resilienta algoritmer, nämligen koordinatvis median respektive trimmat medelvärde.
Byzantine-Robust Distributed Learning: Towards Optimal Statistical Rates
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}