Många utplacerade lärda modeller är svarta lådor: givet indata, returnerar utdata. Intern information om modellen, såsom arkitektur, optimeringsförfarande eller utbildningsdata, lämnas inte ut explicit eftersom den kan innehålla äganderättsligt skyddad information eller göra systemet mer sårbart. Detta arbete visar att sådana attribut av neurala nätverk kan exponeras från en sekvens av frågor. Detta har flera konsekvenser. Å ena sidan exponerar vårt arbete sårbarheten av Black-box neurala nätverk för olika typer av attacker -vi visar att den avslöjade interna informationen hjälper till att generera mer effektiva kontradiktoriska exempel mot den svarta box modellen. Å andra sidan kan denna teknik användas för bättre skydd av privat innehåll från automatiska igenkänningsmodeller med hjälp av kontradiktoriska exempel. Vår tidning antyder att det faktiskt är svårt att dra en gräns mellan vit låda och svart låda modeller.
I REF, Seong et al. Härleds den inre informationen av modeller genom flera frågor och den avslöjade interna informationen bidrar till att generera mer effektiva kontradiktoriska exempel mot svart-box-modellen.
Whitening Black-Box Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}