Vi studerar ett nyligen föreslaget storskaligt distribuerat inlärningsparadigm, nämligen Federated Learning, där arbetsmaskinerna är slutanvändarens egen utrustning. Statistiska och beräkningsmässiga utmaningar uppstår i Federated Learning särskilt i närvaro av heterogen datadistribution (d.v.s. datapunkter på olika enheter tillhör olika distributioner som betecknar olika kluster) och byzantin maskiner (dvs. maskiner som kan bete sig onormalt, eller till och med uppvisa godtyckligt och potentiellt kontradiktoriskt beteende). För att ta itu med de ovannämnda utmaningarna föreslår vi först en allmän statistisk modell för detta problem som tar hänsyn till både användarnas klusterstruktur och de bysantinska maskinerna. Sedan utnyttjar vi den statistiska modellen, vi löser det robusta heterogena Federated Learning-problemet optimalt; i synnerhet vår algoritm matchar den lägre gränsen på uppskattningsfelet i dimension och antalet datapunkter. Dessutom, som en biprodukt, vi bevisa statistiska garantier för en outlier-robust kluster algoritm, som kan betraktas som Lloyd algoritm med robust uppskattning. Slutligen visar vi via syntetiska såväl som verkliga dataexperiment att det skattningsfel som erhålls genom vår föreslagna algoritm är betydligt bättre än nonByzantin-robust algoritmer; i synnerhet, vi får minst 53% och 33% för syntetiska respektive verkliga dataexperiment, i typiska miljöer.
I REF föreslås en allmän statistisk modell för bysantinska maskiner och kunder med data heterogenitet som bygger på datadistribution.
Robust Federated Learning in a Heterogeneous Environment
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}