Samarbetande personalisering, såsom genom inlärda användarrepresentationer (inbäddningar), kan förbättra förutsägelsen noggrannhet neural-network-baserade modeller avsevärt. Vi föreslår Federated User Representation Learning (FURL), ett enkelt, skalbart, integritetsbevarande och resurseffektivt sätt att utnyttja befintliga neurala personalisering tekniker i Federated Learning (FL) inställning. FURL delar in modellparametrar i federerade och privata parametrar. Privata parametrar, såsom privata användares inbäddningar, tränas lokalt, men till skillnad från federerade parametrar överförs de inte till eller i genomsnitt på servern. Vi visar teoretiskt att denna parameter split inte påverkar utbildning för de flesta modeller personalisering tillvägagångssätt. Lagra användaren inbäddning lokalt inte bara bevarar användarens integritet, men också förbättrar minnet lokalisering av personalisering jämfört med onserver utbildning. Vi utvärderar FURL på två dataset, vilket visar en betydande förbättring i modellkvalitet med 8% och 51% prestanda ökar, och ungefär samma nivå av prestanda som centraliserad utbildning med endast 0% och 4% minskning. Dessutom visar vi att användaren inbäddningar lärt sig i FL och den centraliserade inställningen har en mycket liknande struktur, vilket tyder på att FURL kan lära sig gemensamt genom de delade parametrarna samtidigt som användarens integritet bevaras. Samarbetande personalisering, som att lära användaren inbäddningar tillsammans med uppgiften, är ett kraftfullt sätt att förbättra noggrannheten hos neurala nätverk-baserade modeller genom att anpassa modellen till varje användares beteende [8, 23, 14, 11, 21, 31 ]. Modellanpassning förutsätter dock vanligtvis tillgängligheten av användardata på en centraliserad server. För att skydda användarnas integritet är det önskvärt att utbilda personliga modeller på ett integritetsbevarande sätt, till exempel genom att använda Federated Learning [22, 13]. Personalisering i FL innebär många utmaningar på grund av dess distribuerade natur, höga kommunikationskostnader och integritet begränsningar [17, 5, 6, 19, 18, 20, 32, 12]. För att övervinna dessa svårigheter föreslår vi ett enkelt, kommunikationseffektivt, skalbart, integritetsbevarande system, kallat FURL, för att utöka befintliga neurala nätverk personalisering till FL. FURL kan anpassa modeller i FL genom att lära sig uppgiftsspecifika användarrepresentationer (dvs. inbäddningar) [15, 8, 23, 14, 11] eller genom att anpassa modellvikter [29]. Forskning om samverkande personalisering i FL [28, 27, 7, 33] har i allmänhet fokuserat på utveckling av nya tekniker som är skräddarsydda för FL-miljön. Vi visar att de flesta befintliga neurala nätverk personalisering tekniker, som uppfyller split-personalization begränsning (1,2,3), kan användas direkt i FL, med endast en liten förändring till Federated medelvärde [22], den vanligaste FL träningsalgoritm. Befintliga tekniker utbildar inte effektivt användaren inbäddning i FL eftersom standard Federated Agenomsnittsalgoritm [22] överför och medelvärder alla parametrar på en central server. Konventionell utbildning förutsätter att alla inbäddningar av användaren ingår i samma modell. Att överföra alla inbäddningar till enheter under FL-utbildning är oöverkomligt resurskrävande (när det gäller kommunikation och lagring på användarenheter) och bevarar inte användarnas integritet. FURL definierar begreppen federerade och privata parametrar: de senare finns kvar på användarenheten istället för att överföras till servern. Speciellt använder vi en privat användare inbäddning vektor på Preprint. Under granskning.
I REF studeras funktionsval inom neurala nätverk baserat federerat lärande, där modellparametrarna är uppdelade i privata och federerade parametrar.
Federated User Representation Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}