Maskininlärningsalgoritmer som tillämpas på känsliga data utgör ett tydligt hot mot integriteten. En växande kropp av tidigare arbete visar att modeller som produceras av dessa algoritmer kan läcka specifik privat information i träningsdata till en angripare, antingen genom sin struktur eller deras observerbara beteende. Den underliggande orsaken till denna integritetsskyddsrisk är dock inte väl förstådd utöver en handfull anekdotiska konton som tyder på överbemanning och inflytande kan spela en roll. I detta dokument undersöks den effekt som överbemanning och påverkan har på en angripares förmåga att lära sig information om träningsdata från maskininlärningsmodeller, antingen genom utbildningset medlemskapsinferens eller modellinversionsattacker. Med hjälp av både formella och empiriska analyser illustrerar vi ett tydligt samband mellan dessa faktorer och den integritetsrisk som uppstår i flera populära maskininlärningsalgoritmer. Vi finner att överutrustning är tillräckligt för att tillåta en angripare att utföra medlem inference, och när vissa villkor på påverkan av vissa funktioner är närvarande, modell inversion attacker. Det är intressant att lägga märke till att vår formella analys också visar att översittande inte är nödvändigt för dessa angrepp och börjar kasta ljus över vilka andra faktorer som kan vara aktuella. Slutligen undersöker vi sambandet mellan två typer av attacker, medlemsinferens och modell inversion, och visar att det finns djupa kopplingar mellan de två som leder till effektiva nya attacker.
REF undersöker denna uppfattning och drar slutsatsen att överbemanning inte är nödvändigt för att en modell ska visa sårbarhet för medlemsinferens.
The Unintended Consequences of Overfitting: Training Data Inference Attacks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}