Vi introducerar en ny adaptiv clipping teknik för att träna lärande modeller med användarnivå differential integritet som tar bort behovet av omfattande parameter tuning. Tidigare strategier för detta problem använder Federated Stochastic Gradient Descent eller Federated Genomsnittsalgoritm med noised uppdateringar, och beräkna en differential integritet garanti med Moments Accountant. Dessa metoder bygger på att välja en norm som är knuten till varje användares uppdatering till modellen, som måste justeras noggrant. Det bästa värdet beror på inlärningsfrekvens, modellarkitektur, antal pass som görs över varje användares data, och eventuellt olika andra parametrar. Vi visar att adaptiv inställning av klippnormen som tillämpas på varje användares uppdatering, baserat på en differentialt privat uppskattning av en målquantile av fördelningen av oklippta normer, är tillräckligt för att undanröja behovet av en så omfattande parameterinställning.
Nyligen introducerar REF en ny adaptiv klippteknik för SFL med användarnivå DP, som kan realisera adaptiv parameterinställning.
Differentially Private Learning with Adaptive Clipping
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}