Neurala nätverk driver utbyggnaden av inbyggda enheter och Internet of Things. Applikationer sträcker sig från personliga assistenter till kritiska sådana som självkörande bilar. Det har nyligen visat sig att modeller som erhållits från neurala nät kan trojaniseras; en angripare kan sedan utlösa en godtycklig modell beteende inför skapade ingångar. Detta har en avgörande inverkan på säkerheten och tillförlitligheten hos de utplacerade anordningarna. Vi introducerar nya algoritmer för att upptäcka manipulering med utplacerade modeller, klassificeringar i synnerhet. I den fjärrinteraktionsinställning vi anser, är den föreslagna strategin att identifiera markörer för modellens ingångsutrymme som sannolikt kommer att ändra klass om modellen attackeras, så att en användare kan upptäcka en eventuell manipulering. Denna inställning gör vårt förslag kompatibelt med ett brett spektrum av scenarier, såsom inbäddade modeller, eller modeller som exponeras genom förutsägelse API:er. Vi experimenterar de manipulering detektionsalgoritmer på kanoniska MNIST dataset, över tre olika typer av neurala nät, och står inför fem olika attacker (trojanering, kvantisering, finjustering, kompression och vattenmärkning). Vi validerar sedan över fem stora modeller (VGG16, VGG19, ResNet, MobileNet, DenseNet) med en toppmodern datauppsättning (VGGFace2), och rapporterar resultat som visar på möjligheten av en effektiv upptäckt av modellen manipulering.
Slutligen, algoritmer i REF föreslår att upptäcka manipulering med en utplacerad modell, även genom enkla frågor till API:et; testade attacker är trojaner, kompression, finjustering och vattenmärkning metod som föreslås i detta dokument.
TamperNN: Efficient Tampering Detection of Deployed Neural Nets
{'venue': '2019 IEEE 30th International Symposium on Software Reliability Engineering (ISSRE)', 'journal': '2019 IEEE 30th International Symposium on Software Reliability Engineering (ISSRE)', 'mag_field_of_study': ['Computer Science']}