Deep Learning har nyligen blivit enormt populärt inom maskininlärning för sin förmåga att lösa end-to-end inlärningssystem, där funktioner och klassiatorer lärs samtidigt, vilket ger betydande förbättringar i klassificering noggrannhet i närvaro av högstrukturerade och stora databaser. Dess framgång beror på en kombination av nya algoritmiska genombrott, allt kraftfullare datorer och tillgång till betydande mängder data. Forskare har också övervägt konsekvenserna för privatlivet av djupt lärande. Modeller är vanligtvis utbildade på ett centraliserat sätt med alla data som behandlas av samma träningsalgoritm. Om uppgifterna är en insamling av användarnas privata data, inklusive vanor, personliga bilder, geografiska positioner, intressen, med mera, kommer den centraliserade servern att ha tillgång till känslig information som potentiellt skulle kunna hanteras fel. För att ta itu med detta problem har man nyligen föreslagit modeller för fördjupat samarbete, där parterna lokalt utbildar sina strukturer för djupt lärande och endast delar en del av parametrarna i försöken att hålla sina respektive utbildningsset privata. Parametrar kan också fördunklas via differentialintegritet (DP) för att göra informationsextrahering ännu mer utmanande, som Shokri och Shmatikov föreslog vid CCS'15. Tyvärr, Vi visar att alla integritetsbevarande samarbete djup inlärning är mottaglig för en kraftfull attack som vi utformar i denna tidning. I synnerhet visar vi att en distribuerad, federerad eller decentraliserad strategi för djupt lärande i grunden är bruten och inte skyddar utbildningarna för ärliga deltagare. Den attack vi utvecklade utnyttjar inlärningsprocessens realtidskaraktär som gör det möjligt för motståndaren att träna ett Generativt Adversarial Network (GAN) som genererar prototypiska prover av det riktade träningssetet som var avsett att vara privat (de prover som genereras av GAN är avsedda att komma från samma distribution som träningsdata). Intressant är att vi visar att rekordnivå differential integritet tillämpas på de delade parametrar i modellen, som föreslagits i tidigare arbete, är ineffektiv (dvs., rekordnivå DP är inte utformad för att ta itu med vår attack).
Hitaj och Al. REF visar att en deltagare i fördjupat samarbete kan använda GAN för att konstruera klassrepresentanter.
Deep Models Under the GAN: Information Leakage from Collaborative Deep Learning
{'venue': "CCS '17", 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}