Maskininlärning (ML) håller på att bli en handelsvara. Ett stort antal ML-ramar och -tjänster finns tillgängliga för datainnehavare som inte är ML-experter utan vill utbilda prediktiva modeller på sina data. Det är viktigt att ML-modeller som är utbildade på känsliga indata (t.ex. personliga bilder eller dokument) inte läcker ut för mycket information om träningsdata. Vi anser att en skadlig ML leverantör som levererar modellutbildning kod till datainnehavaren, inte observerar utbildningen, men sedan får vit-eller svart-box tillgång till den resulterande modellen. I denna miljö, vi designar och implementerar praktiska algoritmer, några av dem mycket liknar standard ML tekniker såsom legalisering och dataförstärkning, att "memorera" information om träningsdataset i modellen-yet modellen är lika exakt och prediktiv som en konventionellt tränad modell. Vi förklarar sedan hur motståndaren kan extrahera memorerad information från modellen. Vi utvärderar våra tekniker på standard ML uppgifter för bildklassificering (CIFAR10), ansiktsigenkänning (LFW och FaceScrub) och textanalys (20 nyhetsgrupper och IMDB). I samtliga fall visar vi hur våra algoritmer skapar modeller som har hög prediktiv effekt men ändå tillåter korrekt extraktion av delmängder av sina träningsdata. • Säkerhet och integritet → Programvara och applikationssäkerhet;
Särskilt kan motståndaren koda privat information om utbildningsdata i förutsägelser av väl generaliserade modeller REF.
Machine Learning Models that Remember Too Much
{'venue': "CCS '17", 'journal': None, 'mag_field_of_study': ['Computer Science']}