Djupa modeller som är både effektiva och begripliga är önskvärda i många miljöer; tidigare förklarande modeller har varit unimodala, erbjuder antingen bildbaserad visualisering av uppmärksamhet vikter eller text-baserad generering av post-hoc motiveringar. Vi föreslår ett multimodalt tillvägagångssätt för att förklara, och hävdar att de två tillvägagångssätten ger kompletterande förklarande styrkor. Vi samlar in två nya dataset för att definiera och utvärdera denna uppgift, och föreslår en ny modell som kan ge gemensam text logisk generering och uppmärksamhet visualisering. Våra datauppsättningar definierar visuella och textbaserade motiveringar av ett klassificeringsbeslut för aktivitetsigenkänningsuppgifter (ACT-X) och för visuella frågesvarsuppgifter (VQA-X). Vi visar kvantitativt att utbildning med textförklaringar inte bara ger bättre textmotiveringsmodeller, utan också bättre lokaliserar de bevis som stöder beslutet. Vi visar också kvalitativt fall där visuell förklaring är mer insiktsfull än textförklaring, och vice versa, stöder vår tes att multimodala förklaringsmodeller ger betydande fördelar jämfört med unimodala metoder. 9LVXDO 3RLQWLQJ 4,V WKLV D KHDOWK\ PHDO"
REF använder en visuell-attention modul som motiverar förutsägelser av djupa nätverk för visuell frågesvar och aktivitetsigenkänning.
Multimodal Explanations: Justifying Decisions and Pointing to the Evidence
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}