Den stigande efterfrågan på intelligenta mobila applikationer kräver utbyggnad av kraftfulla djupa neurala nätverk (DNN) på mobila enheter. DNN:s enastående prestanda bygger dock på allt mer komplexa modeller, vilket i sin tur är förknippat med en ökning av beräkningskostnaderna som vida överträffar mobila enheters kapacitet. Vad värre är, app tjänsteleverantörer måste samla in och använda en stor mängd av användarnas data, som innehåller känslig information, för att bygga de sofistikerade DNN-modeller. Att direkt distribuera dessa modeller på offentliga mobila enheter utgör en oöverkomlig risk för privatlivet. För att dra nytta av den on-device djupa lärande utan kapacitet och integritet oro, designar vi en privat modell komprimering ram RONA. Efter kunskapsdestilleringsparadigmet använder vi tillsammans tipsinlärning, destillationsinlärning och självinlärning för att träna ett kompakt och snabbt neuralt nätverk. Den kunskap som destilleras från den besvärliga modellen är adaptivt avgränsad och försiktigt störd för att genomdriva differentiell integritet. Vi föreslår också en elegant urvalsmetod för att minska antalet frågor och kontrollera integritetsförlusten. En serie empiriska utvärderingar samt implementeringen på en Android-mobil enhet visar att RONA inte bara kan komprimera besvärliga modeller effektivt utan också ger en stark integritetsgaranti. Till exempel, på SVHN, när en meningsfull (9.83, 10 −6 )-differential integritet garanteras, den kompakta modellen tränas av RONA kan få 20× kompressionsförhållande och 19× upphastighet med endast 0,97% noggrannhet förlust.
Ett annat representativt arbete är REF, som införde en privat modell kompression ram med konventionell överföring lärande och övervakad inlärningsteknik.
Private Model Compression via Knowledge Distillation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}