Komplexa maskininlärningsmodeller för NLP är ofta spröda, vilket gör olika förutsägelser för inmatningsfall som är extremt lika semantiskt. För att automatiskt upptäcka detta beteende för enskilda fall, presenterar vi semantiskt likvärdiga motståndare (SEAs) -semantiska-bevarande perturbationer som inducerar förändringar i modellens förutsägelser. Vi generaliserar dessa motståndare till semantiskt likvärdiga kontradiktoriska regler (SEARs) - enkla, universella ersättningsregler som framkallar motståndare i många fall. Vi demonstrerar användbarheten och flexibiliteten hos SEAS och SEARS genom att upptäcka buggar i svart-box toppmoderna modeller för tre domäner: maskinförståelse, visuella svar på frågor och känsloanalys. Via användarstudier visar vi att vi genererar högkvalitativa lokala motståndare för fler fall än människor, och att SEARs framkallar fyra gånger så många misstag som de fel som upptäckts av mänskliga experter. SÖKNINGAR är också genomförbara: omskolningsmodeller med hjälp av dataförstärkning minskar fel avsevärt, samtidigt som noggrannheten bibehålls.
REF genererar systematiskt semantiska likvärdiga motståndare genom att parafrasera frågorna.
Semantically Equivalent Adversarial Rules for Debugging NLP models
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}