Befintliga visuella resonemang datauppsättningar såsom Visual Question Answering (VQA), ofta lider av fördomar som beror på frågan, bild eller svar distributioner. Det nyligen föreslagna CLEVR-datasetet tar upp dessa begränsningar och kräver finkornigt resonemang, men datasetet är syntetiskt och består av liknande objekt och meningsstrukturer i datasetet. I detta dokument introducerar vi en ny inferensuppgift, Visual Entailment (VE) -consisting of image-sentence par, varigenom en premiss definieras av en bild, snarare än en naturlig språk mening som i traditionella Textual Entailment uppgifter. Målet med en tränad VE-modell är att förutsäga om bilden semantiskt innebär texten. För att förverkliga denna uppgift bygger vi en datauppsättning SNLI-VE baserad på Stanford Natural Language Inference corpus och Flickr30k dataset. Vi utvärderar olika befintliga VQA-baslinjer och bygger en modell som heter Förklarande Visual Entailment (EVE) system för att hantera VE-uppgiften. EVE uppnår upp till 71 % noggrannhet och överträffar flera andra toppmoderna VQA-baserade modeller. Slutligen visar vi att EVE kan förklaras genom korsmodala visualiseringar av uppmärksamhet. SNLI-VE-datasetet är offentligt tillgängligt på https://github.com/ necla-ml/SNLI-VE.
Visual Entailing Visual Entailing (VE) REF är en nyligen föreslagen uppgift som utvidgar NLI till den visuella domänen.
Visual Entailment: A Novel Task for Fine-Grained Image Understanding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}