I detta dokument behandlas generering av förklaringar med visuella exempel. Med ett inmatningsprov bygger vi ett system som inte bara klassificerar det till en viss kategori, utan också ger språkliga förklaringar och en uppsättning visuella exempel som gör beslutet tolkningsbart. Vi fokuserar särskilt på den multimodala informationens komplementaritet, dvs. språkliga och visuella exempel, och försöker uppnå den genom att maximera interaktionsinformationen, vilket ger en naturlig definition av komplementaritet ur ett informationsteoretiskt perspektiv. Vi föreslår ett nytt ramverk för att generera kompletterande förklaringar, där den gemensamma fördelningen av variablerna att förklara, och de som ska förklaras paraferas av tre olika neurala nätverk: prediktor, språklig förklarare, och exempelväljare. Förklaringsmodeller tränas i samarbete för att maximera interaktionsinformationen för att säkerställa att den genererade förklaringen kompletterar varandra för målet. Resultaten av försök som utförts på flera datauppsättningar visar hur effektiv den föreslagna metoden är.
Ett annat nära relaterat arbete, Ref, är inriktat på komplementaritet av multimodal information (dvs. text och exempel) för förklaringar.
Learning to Explain With Complemental Examples
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}