Ett viktigt inlärningsscenario i storskaliga tillämpningar är federerat lärande, där en centraliserad modell utbildas på grundval av data från ett stort antal kunder. Vi hävdar att med den befintliga utbildningen och slutsatsen kan federerade modeller vara partiska mot olika kunder. Istället föreslår vi en ny ram för agnostiskt federerat lärande, där den centraliserade modellen är optimerad för varje målfördelning som bildas av en blandning av kunddistributionerna. Vi visar också att denna ram på ett naturligt sätt ger en känsla av rättvisa. Vi presenterar databeroende Rademacher komplexa garantier för lärande med detta mål, som vägleder definitionen av en algoritm för agnostiskt federerat lärande. Vi ger också en snabb stokastisk optimeringsalgoritm för att lösa motsvarande optimeringsproblem, där vi bevisar konvergensgränser, antar en konvex förlustfunktion och hypotesuppsättning. Vi demonstrerar vidare empiriskt fördelarna med vårt tillvägagångssätt i flera datauppsättningar. Utöver federerat lärande kan vårt ramverk och algoritm vara av intresse för andra inlärningsscenarier som molndata, domänanpassning, drivande och andra sammanhang där utbildning och testdistributioner inte sammanfaller.
I dokumentet REF gavs generaliseringsgränser för testdistributioner som kan uttryckas som en blandning av utbildningsdistributioner.
Agnostic Federated Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}