Abstrakt. Visual Question Answering (VQA) är uppgiften att ta som inmatning en bild och en fri-form naturlig språkfråga om bilden, och att producera ett korrekt svar. I detta arbete ser vi VQA som en "funktionsextraktion" modul för att extrahera bild och bildtext representationer. Vi använder dessa representationer för uppgiften bild-caption ranking. Varje funktionsdimension fångar (imaginer) om ett faktum (fråga-svar par) rimligen kan vara sant för bilden och bildtext. Detta gör det möjligt för modellen att tolka bilder och bildtexter ur en mängd olika perspektiv. Vi föreslår poäng- och representationsnivå fusionsmodeller för att införliva VQA kunskap i en befintlig state-of-the-art VQA-agnostic image-caption ranking modell. Vi finner att inkorporering och resonemang om överensstämmelse mellan bilder och bildtexter avsevärt förbättrar prestandan. Konkret förbättrar vår modell toppmoderna bildhantering med 7,1 % och bildsökning med 4,4 % på MSCOCO-datasetet.
REF studerar problemet med att använda VQA-kunskaper för att förbättra rankningen av bildrubriker.
Leveraging Visual Question Answering for Image-Caption Ranking
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}