I detta dokument beskrivs en testmetod för kvantitativ bedömning av risken för att sällsynta eller unika utbildningsdatasekvenser oavsiktligt memoreras av generativa sekvensmodeller – en vanlig typ av maskininlärningsmodell. Eftersom sådana modeller ibland är utbildade på känsliga data (t.ex. texten i användarnas privata meddelanden), kan denna metod gynna integriteten genom att tillåta djupt lärande utövare att välja sätt att utbildning som minimerar sådan memorering. I experiment visar vi att oavsiktlig memorering är en ihållande, svårlöslig fråga som kan få allvarliga konsekvenser. Speciellt, för modeller tränade utan hänsyn till memorering, beskriver vi nya, effektiva förfaranden som kan extrahera unika, hemliga sekvenser, såsom kreditkortsnummer. Vi visar att vår teststrategi är en praktisk och lättanvänd första försvarslinje, t.ex. genom att beskriva dess tillämpning för att kvantitativt begränsa dataexponeringen i Googles Smart Compose, ett kommersiellt textkompleterande neuralt nätverk utbildat på miljontals användares e-postmeddelanden.
REF visade angripare kunde extrahera unika och hemliga sekvenser såsom kreditkortsnummer givna modeller som är utbildade utan redovisning för oavsiktlig memorering.
The Secret Sharer: Evaluating and Testing Unintended Memorization in Neural Networks
{'venue': 'USENIX Security Symposium', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}