Federerat lärande innebär nya utmaningar för statistik och system när det gäller utbildning av maskininlärningsmodeller över distribuerade nätverk av enheter. I detta arbete visar vi att multi-task lärande är naturligt lämpad för att hantera de statistiska utmaningarna i denna miljö, och föreslå en ny system-medveten optimeringsmetod, MOCHA, som är robust för praktiska systemfrågor. Vår metod och teori tar för första gången upp frågor om höga kommunikationskostnader, stragglers och feltolerans för distribuerat lärande med flera uppgifter. Den resulterande metoden uppnår betydande hastigheter jämfört med alternativ i den federerade inställningen, som vi demonstrerar genom simuleringar på verkliga federerade datauppsättningar. Mobiltelefoner, bärbara enheter och smarta hem är bara några få av de moderna distribuerade nätverk som genererar enorma mängder data varje dag. På grund av den växande lagrings- och beräkningskraften hos enheter i dessa nätverk blir det allt mer attraktivt att lagra data lokalt och driva mer nätverksberäkning till kanten. Det nascent fält av federerat lärande utforskar utbildning statistiska modeller direkt på enheter [35]. Exempel på potentiella tillämpningar är: inlärningskänsla, semantisk plats, eller aktiviteter för mobiltelefonanvändare; förutsäga hälsohändelser som lågt blodsocker eller hjärtinfarkt risk från bärbara enheter; eller upptäcka inbrott i smarta hem [3, 37, 40]. Efter [24, 34, 25] sammanfattar vi de unika utmaningarna med federerat lärande nedan. 1. Vad är det för fel på dig? Statistiska utmaningar: Syftet med federerat lärande är att passa en modell till data, {X 1,. .., X m }, genereras av m distribuerade noder. Varje nod, t... [m] samlar in data på ett icke-ID sätt över nätverket, med data om varje nod som genereras av en distinkt distribution X t... P t. Antalet datapunkter på varje nod, n t, kan också variera avsevärt, och det kan finnas en underliggande struktur närvarande som fångar förhållandet mellan noder och deras tillhörande distributioner. 2. Utgångspunkten är följande: Systemutmaningar: Det finns vanligtvis ett stort antal noder, m, i nätverket, och kommunikation är ofta en betydande flaskhals. Dessutom kan lagrings-, beräknings- och kommunikationskapaciteten för varje nod variera på grund av variationer i hårdvara (CPU, minne), nätverksanslutning (3G, 4G, WiFi) och effekt (batterinivå). Dessa systemutmaningar, tillsammans med obalanserade data och statistisk heterogenitet, gör frågor som t.ex. stragglers och feltolerans betydligt vanligare än i typiska datacentermiljöer. I detta arbete föreslår vi en modelleringsmetod som skiljer sig avsevärt från tidigare arbete med federerat lärande, där målet hittills har varit att utbilda en enda global modell över hela nätverket [24, 34, 25]. Istället tar vi itu med statistiska utmaningar i den federerade inställningen genom att lära sig separata modeller för varje nod, {w 1,. ..................................................... Detta kan naturligt fångas genom en multi-task lärande (MTL) ram, där målet är att överväga att passa separata men relaterade modeller samtidigt [13, 2, 54, 27]. Tyvärr är dagens inlärningsmetoder med flera uppgifter inte lämpade för att hantera de systemutmaningar som uppstår i samband med federerat lärande, inklusive höga kommunikationskostnader, stragglers och feltolerans. Att ta itu med dessa utmaningar är därför en viktig del av vårt arbete. * Författare bidrog lika mycket. ArXiv:1705.10467v1 [cs. LG] 30 maj 2017 2 Termen inlärning på enhet har använts för att beskriva både uppgiften modellutbildning och modelltjänst. På grund av tvetydigheten i denna fras använder vi uteslutande termen federerad inlärning. 3 Även om inte fokus för vårt arbete, Vi noterar integritet är en viktig oro i den federerade miljön, och att den integritet fördelar i samband med globala federerade lärande (som diskuteras i [34] ) också gäller vår strategi.
Dessutom använde REF ett ramverk för lärande med flera uppgifter och föreslog en ny metod, MOCHA, för att ta itu med dessa statistik- och systemutmaningar (inklusive data heterogenitet och kommunikationseffektivitet).
Federated Multi-Task Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}