Alternativa riktning metod för multiplikatorer (ADMM) är ett brett använt verktyg för maskininlärning i distribuerade inställningar där en maskininlärning modell utbildas över distribuerade datakällor genom en interaktiv process av lokal beräkning och meddelande passerar. En sådan iterativ process kan orsaka integritet oro dataägare. Målet med detta papper är att ge differential integritet för ADMM-baserade distribuerade maskininlärning. Tidigare strategier på differentialt privat ADMM uppvisar låg nytta under hög integritet garanti och anta de objektiva funktionerna i inlärningsproblemen för att vara smidig och starkt konvex. För att ta itu med dessa problem, föreslår vi en ny differential privat ADMM-baserad distribuerad lärande algoritm som kallas DP-ADMM, som kombinerar en ungefärlig förstärkt Lagrangian funktion med tidsvariation Gaussian buller tillägg i den iterativa processen för att uppnå högre nytta för allmänna objektiva funktioner under samma differential integritet garanti. Vi tillämpar också momenten revisor metod för att analysera end-to-end integritet förlust. Den teoretiska analysen visar att DP-ADMM kan tillämpas på en bredare klass av problem med distribuerat lärande, är bevisligen konvergerande, och erbjuder en explicit nytta-privacy kompromiss. Till vår kännedom är detta det första papperet som ger explicita konvergens- och nyttoegenskaper för differentiellt privata ADMM-baserade distribuerade läralgoritmer. Utvärderingsresultaten visar att vårt tillvägagångssätt kan uppnå god konvergens och modellnoggrannhet under hög end-to-end differential integritetsskyddsgaranti.
Huang m.fl. REF föreslog ett tillvägagångssätt som kombinerar en ungefärlig förstärkt Lagrangian funktion med tidsvarierande Gaussian buller för allmänna objektiva funktioner.
DP-ADMM: ADMM-Based Distributed Learning With Differential Privacy
{'venue': 'IEEE Transactions on Information Forensics and Security', 'journal': 'IEEE Transactions on Information Forensics and Security', 'mag_field_of_study': ['Computer Science', 'Mathematics']}