Djupt lärande har gett imponerande resultat inom många områden inom Computer Vision och Natural Language Processing. Bland andra, Visual Question Answering (VQA), även kallad en visuell Turing test, anses vara en av de mest övertygande problem, och nyligen djupt lärande modeller har rapporterat betydande framsteg i vision och språkmodellering. Även om Artificiell Intelligens (AI) närmar sig att klara det visuella Turingtestet, kan förekomsten av kontradiktoriska exempel på djupinlärningssystem samtidigt hindra den praktiska tillämpningen av sådana system. I detta arbete genomför vi den första omfattande studien om kontradiktoriska exempel på VQA-system. I synnerhet fokuserar vi på att generera riktade kontradiktoriska exempel för ett VQA-system medan målet anses vara ett frågesvarspar. Vår utvärdering visar att framgången med huruvida ett målinriktat kontradiktoriskt exempel kan skapas till största delen beror på valet av frågeställarparet, och mindre på valet av bilder som frågan hänför sig till. Vi rapporterar också om språkförekomsten av en VQA-modell, vilket kan förklara varför riktade kontradiktoriska exempel är svåra att generera för vissa frågesvarsmål. Vi visar också att en kompositionell VQA-arkitektur är något mer motståndskraftig mot motangrepp än en icke-kompositionell. Vår studie kastar nytt ljus över hur man bygger djupa visioner och språktåliga modeller robusta mot kontradiktoriska exempel.
Xu och al. I REF visades att arkitekturer som ofta används för komposition och icke-kompositionella "Visuella frågor och svar" är sårbara för kontradiktoriska attacker.
Can you fool AI with adversarial examples on a visual Turing test?
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}