Federerad inlärning gör det möjligt för en stor mängd edge computing-enheter att lära sig en centraliserad modell samtidigt som alla lokala data hålls på kant-enheter. Som en ledande algoritm i denna inställning, Federated medelvärde (FedAvg) kör Stochastic Gradient Descent (SGD) parallellt på en liten delmängd av den totala enheten och medelvärden sekvenserna bara en gång i taget. Trots sin enkelhet saknar den teoretiska garantier i den federerade miljön. I detta dokument analyserar vi hur FedAvg konvergerar på icke-iid data. Vi undersöker effekten av olika provtagnings- och genomsnittssystem, som är avgörande särskilt när uppgifterna är obalanserade. Vi visar en koncis konvergens av O( 1 T ) för FedAvg med korrekt provtagning och medelvärde system i konvexa problem, där T är det totala antalet steg. Våra resultat visar att heterogeniteten hos data bromsar konvergensen, som är inneboende i den federerade miljön. Låg grad av delaktighet kan uppnås utan att man allvarligt skadar optimeringsprocessen vid federerad inlärning. Vi visar att det finns en kompromiss mellan kommunikationseffektivitet och konvergens. Vi analyserar nödvändigheten av inlärningshastighet förfall genom att ta en linjär regression som exempel. Vårt arbete fungerar som en riktlinje för algoritmdesign i tillämpningar av federerat lärande, där heterogenitet och obalans av data är det vanliga fallet.
REF analyserade konvergensen av federerad medelvärdesalgoritm för konvexa problem.
On the Convergence of FedAvg on Non-IID Data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}