Massiva data finns bland användare lokala plattformar som vanligtvis inte kan stödja djupa neurala nätverk (DNN) utbildning på grund av beräkning och lagring resurser begränsningar. Molnbaserade utbildningsprogram kan ge fördelaktiga tjänster, men är beroende av överdriven insamling av användardata, vilket kan leda till potentiella risker för och överträdelser av privatlivet. I detta dokument föreslår vi PrivyNet, ett flexibelt ramverk för att möjliggöra DNN-utbildning på molnet samtidigt som dataintegriteten skyddas. Vi föreslår att dela upp DNN i två delar och distribuera dem separat på de lokala plattformarna och molnet. Det lokala neurala nätverket (NN) används för funktionsextraktion. För att undvika lokal utbildning förlitar vi oss på idén att överföra lärande och härleda de lokala NN:erna genom att extrahera de inledande skikten från förutbildade NN:er. Vi identifierar och jämför tre faktorer som bestämmer topologin för den lokala NN, inklusive antalet lager, djupet av utdatakanaler, och delmängd av utvalda kanaler. Vi föreslår också en hierarkisk strategi för att fastställa den lokala NN topologin, som är flexibel för att optimera noggrannheten i målet lärande uppgift under begränsningarna för integritetsförlust, lokal beräkning och lagring. För att validera PrivyNet använder vi den konvolutionella NN (CNN)-baserade bildklassificeringsuppgiften som exempel och karakteriserar beroendet av integritetsförlust och noggrannhet på den lokala NN-topologin i detalj. Vi visar också att PrivyNet är effektivt och kan hjälpa till att utforska och optimera kompromissen mellan integritetsförlust och noggrannhet. ArXiv:1709.06161v1 [cs. LG] 18 Sep 2017 mål lärande uppgifter. För att ett omvandlingssystem ska vara effektivt måste det uppfylla kraven på både nytta och integritet. Nyttokravet uppmanar målinlärningsuppgifter att utföras korrekt baserat på omvandlade data medan integritetskravet tvingar läckage av privat information att begränsas inom ett tillfredsställande intervall. Dessutom bör omvandlingssystemet vara tillräckligt flexibelt för plattformar med olika beräknings- och lagringskapacitet och för olika typer av data, som kan vara antingen högdimensionella och kontinuerliga, som videor eller bilder, eller diskreta. Relaterade arbeten Integritet och nytta kompromiss har varit en av de viktigaste frågorna i integritetsforskningen. Olika mått på integritet och nytta föreslås baserat på teorin om hastighetssnedvridning i kommunikation [1–3], statistisk uppskattning [4] och inlärningsförmåga [5]. För att aktivt utforska kompromissen mellan integritet och nytta har många olika omvandlingar föreslagits under de senaste åren. Syntaktiska anonymiseringsmetoder, inklusive k-anonymitet [6], l-diversitet [7] och t-närhet [8], föreslås för att anonymisera kvasi-identifierare och skydda känsliga attribut i en statisk databas. Syntaktisk anonymisering är dock känd för att vara mottaglig för flera typer av attacker, inklusive DeFinetti attack [9]. Samtidigt, för vissa högdimensionella kontinuerliga data som bilder eller videor, kvasi-identifierare och känsliga attribut blir svårt att definiera. Differentiell integritet föreslås ge en mer formell integritetsgaranti och kan enkelt uppnås genom att lägga till buller [10–12]. Differentiell integritet hindrar dock endast en motståndare från att få ytterligare kunskap genom att inkludera/utesluta en individuell data [12], medan den totala kunskapen från de släppta uppgifterna inte är begränsad, vilket gör den sårbar för inferensattacker [13]. Samtidigt, för att uppnå differential integritet, kräver befintliga verk [14, 15] vanligtvis lokala plattformar för att engagera sig i den bakåtutbredningsprocessen och göra en stor mängd beräkningar lokalt. Detta gör det svårt att distribuera dem på lätta plattformar. Icke-inverterbara linjära och icke-linjära transformationer föreslås också för dataanonymisering. Befintliga linjära omvandlingar är beroende av kovariansen mellan data och etiketter [16] eller den linjära diskriminanta analysen [17] för att filtrera träningsdata för att bevara nyttan för målinlärningsuppgiften samtidigt som integriteten undertrycks. Linjära omvandlingar lider vanligtvis av begränsat integritetsskydd eftersom de ursprungliga uppgifterna kan rekonstrueras med tanke på de utgivna representationerna. Nyligen föreslagna ickelinjära omvandlingar baserade på minimax-filter [13] eller Siamese-nätverk [18] kan ge bättre skydd för privatlivet. För att bevara nyttan av de utgivna uppgifterna behöver omvandlingarna dock utbildas interaktivt mellan molnet och de lokala plattformarna, vilket gör dem endast tillämpliga för skydd av privatlivet i slutskedet i stället för utbildningsstadiet [18].
Löjtnant m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m för m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m. I Ref föreslogs en flexibel ram för privat djupt lärande.
PrivyNet: A Flexible Framework for Privacy-Preserving Deep Neural Network Training with A Fine-Grained Privacy Control
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}