Visuell språk jordning är allmänt studerad i moderna neurala bildtextionssystem, som vanligtvis antar en kodare-dekoder ram bestående av två huvudsakliga komponenter: en convolutional neural network (CNN) för bildfunktionsextraktion och en återkommande neurala nätverk (RNN) för språk bildtextgenerering. För att studera robustheten av språk jordning till kontrarisiva perturbationer i maskinseende och perception, föreslår vi Show-and-Fool, en ny algoritm för att skapa kontrarisiva exempel i neural bildtextering. Den föreslagna algoritmen ger två utvärderingsmetoder, som kontrollerar om neurala bildtextningssystem kan vilseledas för att producera några slumpmässigt valda bildtexter eller nyckelord. Våra omfattande experiment visar att vår algoritm framgångsrikt kan skapa visuellt liknande kontrariska exempel med slumpmässigt riktade bildtexter eller nyckelord, och de kontradiktoriska exemplen kan göras mycket överförbara till andra bildtextsystem. Följaktligen leder vår strategi till nya robusthet implikationer av neural bildtextning och nya insikter i visuellt språk jordning.
Den Show-and-Fool metod som presenteras i REF tyder på att neural bildtextion modeller kan också vara sårbar för attacker.
Attacking Visual Language Grounding with Adversarial Examples: A Case Study on Neural Image Captioning
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}