Vi introducerar en ny och allt mer relevant miljö för distribuerad optimering inom maskininlärning, där data som definierar optimeringen distribueras (ojämnligen) över ett extremt stort antal noder, men målet är fortfarande att träna en högkvalitativ centraliserad modell. Vi hänvisar till denna inställning som Federated Optimization. I detta sammanhang är kommunikationseffektiviteten av yttersta vikt. Ett motiverande exempel på federerad optimering uppstår när vi behåller träningsdata lokalt på användarens mobila enheter istället för att logga in på ett datacenter för träning. Istället används de mobila enheterna som noder som utför beräkning på sina lokala data för att uppdatera en global modell. Vi antar att vi har ett extremt stort antal enheter i vårt nätverk, som var och en har endast en liten del av data tillgängliga helt; i synnerhet förväntar vi oss att antalet datapunkter som finns tillgängliga lokalt är mycket mindre än antalet enheter. Dessutom, eftersom olika användare genererar data med olika mönster, antar vi att ingen enhet har ett representativt urval av den totala distributionen. Vi visar att befintliga algoritmer inte är lämpliga för denna inställning, och föreslår en ny algoritm som visar uppmuntrande experimentella resultat. Detta arbete ger också en väg för framtida forskning som behövs i samband med federerad optimering.
Konecný m.fl. utvecklat den första ramen för federerat lärande och även experimentellt visat att befintliga maskininlärningsalgoritmer inte lämpar sig för denna inställning REF.
Federated Optimization:Distributed Optimization Beyond the Datacenter
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}