Vissa tillämpningar för maskininlärning omfattar träningsdata som är känsliga, till exempel patienternas medicinska historia i en klinisk prövning. En modell kan oavsiktligt och implicit lagra en del av sina träningsdata; noggrann analys av modellen kan därför avslöja känslig information. För att ta itu med detta problem visar vi en allmänt tillämplig strategi för att ge starka integritetsgarantier för utbildningsdata: Privat sammanslagning av lärare Ensembles (PATE). Tillvägagångssättet kombinerar, på ett svart-box-sätt, flera modeller utbildade med separata datauppsättningar, såsom poster från olika undergrupper av användare. Eftersom de är direkt beroende av känsliga data publiceras inte dessa modeller, utan används istället som "lärare" för en "student"-modell. Studenten lär sig att förutsäga ett resultat som väljs genom bullriga omröstningar bland alla lärare, och kan inte direkt komma åt en enskild lärare eller de underliggande data eller parametrar. Studentens integritetsegenskaper kan förstås både intuitivt (eftersom ingen enskild lärare och därmed ingen enskild datauppsättning dikterar studentens utbildning) och formellt, när det gäller differentialintegritet. Dessa egenskaper håller även om en motståndare inte bara kan fråga den studerande utan också inspektera dess interna funktioner. Jämfört med tidigare arbeten innebär tillvägagångssättet endast svaga antaganden om hur lärare utbildas: det gäller alla modeller, inklusive icke-konvexa modeller som DNN. Vi uppnår toppmoderna sekretess-/nyttoavtal på MNIST och SVHN tack vare en förbättrad integritetsanalys och halvövervakat lärande.
I REF inrättades en ram för privat aggregering av lärarensembler (PATE) för att förbättra integritetsgarantin för djupinlärning för klassificeringsuppgifter.
Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}