Vi tillhandahåller en allmän ram för integritetsbevarande variations Bayes (VB) för en stor klass av probabilistiska modeller, som kallas konjugerad exponentiell (CE) familj. Vår främsta iakttagelse är att när modellerna finns i CE-familjen kan vi privatisera de bakre variationerna genom att helt enkelt störa den förväntade tillräckliga statistiken över sannolikheten för fullbordad produktion. För allmänt använda icke-CE-modeller med binomial sannolikheter, utnyttjar vi Pólya-Gamma data förstärkningsschema för att föra in sådana modeller i CE-familjen, så att slutsatser i den modifierade modellen liknar den privata variations Bayes algoritm så nära som möjligt. Den iterativa karaktären hos variationsbukten utgör ytterligare en utmaning eftersom iterationer ökar mängden buller som behövs. Vi övervinner detta genom att kombinera: (1) en avslappnad uppfattning om differential integritet, som kallas koncentrerad differential integritet, som ger en snäv gräns för integritetskostnaderna för flera VB iterationer och därmed avsevärt minskar mängden additivt buller, och (2) integritetsförstärkning effekt av subsampling mini-batches från storskaliga data i stokastiskt lärande. Vi demonstrerar empiriskt effektiviteten av vår metod i CE- och icke-CE-modeller inklusive latent Dirichlet allocation, Bayesian logistic regression, och sigmoid tro nätverk, utvärderas på verkliga datauppsättningar.
I REF introducerar författarna en allmän ram för skydd av privatlivet för Variational Bayes.
Variational Bayes In Private Settings (VIPS)
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}