Vi visar att det är möjligt att utbilda stora återkommande språkmodeller med användarnivå differential integritet garantier med endast en försumbar kostnad i prediktiv noggrannhet. Vårt arbete bygger på den senaste tidens framsteg i utbildningen av djupa nätverk om användarpartitionerade data och integritetsredovisning för stokastisk lutning nedstigning. I synnerhet lägger vi till integritetsskydd på användarnivå till den federerade genomsnittsalgoritmen, som gör "stora steg"-uppdateringar från användardata. Vårt arbete visar att med tanke på ett dataset med ett tillräckligt stort antal användare (ett krav som lätt kan uppfyllas av även små internetbaserade dataset), kommer uppnå differential integritet på bekostnad av ökad beräkning, snarare än i minskad nytta som i de flesta tidigare arbeten. Vi finner att våra privata LSTM språkmodeller kvantitativt och kvalitativt liknar o-brutna modeller när de tränas på en stor datauppsättning. 1. Vad är det för fel på dig? Vi tillämpar differentialintegritet på modellutbildning med hjälp av begreppet användaranknutna datauppsättningar, vilket leder till formella garantier för integritet på användarnivå, snarare än integritet för enstaka exempel. Publicerad som konferensbidrag på ICLR 2018 2. Vi introducerar en noised version av den federerade genomsnittsalgoritmen (McMahan et al., 2016) i §2, som uppfyller användaren-närmare differential integritet genom användning av momenten revisor (Abadi et al., 2016a) först utvecklats för att analysera differentially privat stokastisk lutning nedstigning (SGD) till exempel-nivå integritet. Den federerade genomsnittliga tillvägagångssätt grupper flera SGD-uppdateringar tillsammans, vilket möjliggör stora steg modelluppdateringar. 3. Vad är det som händer? Vi demonstrerar den första högkvalitativa LSTM språkmodell tränas med starka integritetsgarantier i §3, visar ingen betydande minskning av modellens noggrannhet med tanke på en tillräckligt stor datauppsättning. Till exempel, på en datauppsättning av 763,430 användare, baslinje (icke-privat) utbildning uppnår en noggrannhet på 17,5 % i 4120 omgångar av utbildning, där vi använder data från 100 slumpmässiga användare på varje omgång. Vi uppnår samma nivå av noggrannhet med (4.6, 10 −9 )-differential integritet i 4980 rundor, bearbetning i genomsnitt 5000 användare per rund-underhållande samma nivå av noggrannhet på en betydande beräkningskostnad på ungefär 60×. 1 Att köra samma beräkning på en större datauppsättning med 10 8 användare skulle förbättra integritetsgarantin till (1.2, 10 −9 ). Vi garanterar integritet och underhåll verktyg trots den komplexa interna strukturen av LSTM-med per-ord inbäddningar samt täta tillstånd övergångar-genom att använda den federerade genomsnittsalgoritmen. Vi visar att den bullerade modellens mått och kvalitativa beteende (med avseende på huvudord) inte skiljer sig nämnvärt från den icke-privata modellen. Såvitt vi vet representerar vårt arbete den mest sofistikerade modellen för maskininlärning, som bedöms utifrån modellens storlek och komplexitet, som någonsin utbildats med integritetsgarantier, och den första modellen som utbildats med integritet på användarnivå.
När det gäller försvar studerar REF hur man utbildar LSTM-modeller med olika integritetsgarantier på användarnivå.
Learning Differentially Private Recurrent Language Models
{'venue': 'ICLR', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}