I detta dokument föreslår vi en klass av robusta stokastiska subgradienta metoder för distribuerad inlärning från heterogena dataset vid närvaro av ett okänt antal bysantinska arbetare. De bysantinska arbetarna kan under inlärningsprocessen skicka godtyckliga felaktiga meddelanden till mästaren på grund av datakorruption, kommunikationsfel eller skadliga attacker, och därmed partiska den lärda modellen. Nyckeln till de föreslagna metoderna är en legaliseringsbegrepp som införlivas med den objektiva funktionen för att stärka inlärningsuppgiften och mildra de negativa effekterna av bysantinska attacker. De resulterande subgradientbaserade algoritmerna benämns Byzantine-Robust Stochastic Aggregation methods, som motiverar vår akronym RSA som används hädanefter. I motsats till de flesta av de befintliga algoritmerna förlitar sig RSA inte på antagandet att uppgifterna är oberoende och identiskt fördelade (i.i.d.). på arbetarna, och därmed passar för en bredare klass av tillämpningar. Teoretiskt visar vi att: i) RSA konvergerar till en nästan optimal lösning med inlärningsfelet beroende på antalet bysantinska arbetare; ii) konvergenshastigheten för RSA under bysantinska attacker är densamma som för den stokastiska lutning nedstigningsmetoden, som är fri från bysantinska attacker. Numeriskt bekräftar experiment med verkliga data att RSA är konkurrenskraftigt och att komplexiteten minskar jämfört med de senaste alternativen.
I REF föreslås att en legaliserad term införs med den objektiva funktionen.
RSA: Byzantine-Robust Stochastic Aggregation Methods for Distributed Learning from Heterogeneous Datasets
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}