Moderna mobila enheter har tillgång till en mängd data som lämpar sig för inlärningsmodeller, vilket i sin tur avsevärt kan förbättra användarupplevelsen på enheten. Till exempel kan språkmodeller förbättra taligenkänning och textinmatning, och bildmodeller kan automatiskt välja bra bilder. Men denna rika data är ofta integritet känsliga, stora i kvantitet, eller båda, som kan utesluta loggning till datacenter och utbildning där med konventionella metoder. Vi förespråkar ett alternativ som lämnar träningsdata som distribueras på de mobila enheterna, och lär sig en delad modell genom aggregering lokalt-komputerade uppdateringar. Vi kallar detta decentraliserade tillvägagångssätt Federated Learning. Vi presenterar en praktisk metod för federerad inlärning av djupa nätverk baserat på iterativ modell medelvärde, och genomföra en omfattande empirisk utvärdering, med beaktande av fem olika modeller arkitekturer och fyra datauppsättningar. Dessa experiment visar att tillvägagångssättet är robust för obalanserade och icke-ID-datadistributioner som är en definierande egenskap hos denna inställning. Kommunikationskostnader är den huvudsakliga begränsningen, och vi visar en minskning av nödvändiga kommunikationsrundor med 10-100× jämfört med synkroniserad stokastisk lutning nedstigning.
McMahan m.fl. I Ref föreslogs en praktisk metod för federerad inlärning av DNN baserad på iterativ modell i genomsnitt.
Communication-Efficient Learning of Deep Networks from Decentralized Data
{'venue': 'Proceedings of the 20 th International Conference on Artificial Intelligence and Statistics (AISTATS) 2017. JMLR: W&CP volume 54', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}