Maskininlärningsmodeller baserade på neurala nätverk och djupinlärning antas snabbt för många ändamål. Vad dessa modeller lär sig, och vad de kan dela, är en viktig fråga när utbildningsuppgifterna kan innehålla hemligheter och modellerna är offentliga, t.ex. när en modell hjälper användare att komponera textmeddelanden med hjälp av modeller som är utbildade på alla användares meddelanden. Detta papper presenterar exponering, en enkel att beräkna metrisk som kan tillämpas på någon djupt lärande modell för att mäta memorering av hemligheter. Med hjälp av denna metriska visar vi hur man extraherar dessa hemligheter effektivt med hjälp av Black-box API-åtkomst. Vidare visar vi att oavsiktlig memorering sker tidigt, inte beror på överbemanning, och är en ihållande fråga för olika typer av modeller, hyperparametrar, och utbildningsstrategier. Vi experimenterar med både verkliga modeller (t.ex. en toppmodern översättningsmodell) och dataset (t.ex. Enrons e-postdataset, som innehåller användares kreditkortsnummer) för att visa både nyttan av att mäta exponering och förmågan att extrahera hemligheter. Slutligen anser vi att många försvar, finna några ineffektiva (som legalisering), och andra att sakna garantier. Genom att omedelbart införa vår egen differentierade privata återkommande modell bekräftar vi dock att problemet kan lösas med stor nytta genom att på lämpligt sätt investera i användningen av den senaste tekniken.
Carlini m.fl. REF visade att djupt lärande-baserade generativa sekvens modeller oavsiktligt memorera träningsdata, och att en motståndare kan extrahera specifika nummer med svart-box tillgång till modellen med viss förkunskaper om formatet för indata (t.ex. ett kreditkortsnummer).
The Secret Sharer: Measuring Unintended Neural Network Memorization&Extracting Secrets
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}