Motståndskraftiga exempel belyser modellsårbarheter och är användbara för utvärdering och tolkning. Vi definierar universella motsträviga triggers: in-agnostiska sekvenser av polletter som utlöser en modell för att producera en specifik förutsägelse när concatenated till någon inmatning från en datauppsättning. Vi föreslår en gradientstyrd sökning över polletter som finner korta triggersekvenser (t.ex. ett ord för klassificering och fyra ord för språkmodellering) som framgångsrikt utlöser målförutsägelsen. Till exempel, triggers orsaka SNLI innebär noggrannhet att sjunka från 89.94% till 0.55%, 72% av "varför" frågor i SQuAD att besvaras "för att döda amerikanska människor", och GPT-2 språkmodellen för att spy rasistiska utdata även när de är beroende av icke-rasiska sammanhang. Dessutom, även om triggers är optimerade med white-box tillgång till en viss modell, de överförs till andra modeller för alla uppgifter vi anser. Slutligen, eftersom triggers är input-agnostic, de ger en analys av globala modeller beteende. De bekräftar till exempel att SNLI-modeller utnyttjar dataset-fördomar och hjälper till att diagnostisera heuristik som man lärt sig genom att läsa förståelsemodeller.
REF använder en gradientstyrd sökning för att hitta universella kontradiktoriska sekvenser som utlöser en modell för att producera en specifik förutsägelse när den sammanfaller till någon inmatning från en datauppsättning.
Universal Adversarial Triggers for Attacking and Analyzing NLP
{'venue': 'EMNLP/IJCNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}