Maskininlärningsmodeller görs i allt högre grad tillgängliga för massorna genom offentliga frågegränssnitt. Senaste akademiska arbete har visat att skadliga användare som kan fråga sådana modeller kan dra slutsatsen känslig information om poster i utbildningsdata. Differentiell integritet kan motverka sådana attacker, men inte alla modeller kan lätt tränas för att uppnå denna garanti eller för att uppnå den med acceptabel nytta förlust. Som ett resultat, om en modell utbildas utan differential integritet garanti, lite är känt eller kan sägas om integritetsrisken för att släppa den. I detta arbete undersöker och analyserar vi medlemsattacker för att förstå varför och hur de lyckas. Baserat på denna förståelse föreslår vi Differential Training Privacy (DTP), ett empiriskt mått för att uppskatta integritetsrisken för att publicera en classier när metoder som differentiell integritet inte kan tillämpas. DTP är en åtgärd för en klassificerare med avseende på dess utbildningsdataset, och vi visar att beräkning av DTP är effektiv i många praktiska fall. Vi validerar DTP empiriskt med hjälp av toppmoderna maskininlärningsmodeller såsom neurala nätverk utbildade på verkliga datauppsättningar. Våra resultat visar att DTP är mycket prediktiv för framgången av medlemskap attacker och därför minskar DTP också risken för integritet. Vi förespråkar att DTP ska användas som en del av beslutsprocessen när man överväger att offentliggöra en klassificering. I detta syfte föreslår vi också att man antar DTP-1-hypotesen: om en klassificeringsgivare har ett DTP-värde över 1 bör det inte offentliggöras.
Risken för medlemsslutledningar kan empiriskt mätas baserat på inverkan av varje utbildningsrekord REF.
Towards Measuring Membership Privacy
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}