Vi introducerar en ny och allt mer relevant miljö för distribuerad optimering inom maskininlärning, där data som definierar optimeringen är ojämnt fördelade över ett extremt stort antal noder. Målet är att utbilda en högkvalitativ centraliserad modell. Vi hänvisar till denna inställning som Federated Optimization. I detta sammanhang är kommunikationseffektiviteten av yttersta vikt och det främsta målet är att minimera antalet kommunikationsrundor. Ett motiverande exempel uppstår när vi behåller träningsdata lokalt på användarens mobila enheter istället för att logga in på ett datacenter för träning. Vid federerad optimering används enheterna som beräkningsnoder som utför beräkning på sina lokala data för att uppdatera en global modell. Vi antar att vi har ett extremt stort antal enheter i nätverket - så många som antalet användare av en viss tjänst, som var och en endast har en liten del av de totala tillgängliga uppgifterna. Framför allt förväntar vi oss att antalet datapunkter som finns tillgängliga lokalt är mycket mindre än antalet enheter. Eftersom olika användare genererar data med olika mönster är det dessutom rimligt att anta att ingen produkt har ett representativt urval av den totala distributionen. Vi visar att befintliga algoritmer inte är lämpliga för denna inställning, och föreslår en ny algoritm som visar uppmuntrande experimentella resultat för glesa konvexa problem. Detta arbete ger också en väg för framtida forskning som behövs i samband med federerad optimering.
Det federerade optimeringsproblemet i samband med konvexa objektiva funktioner har studerats i REF.
Federated Optimization: Distributed Machine Learning for On-Device Intelligence
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}