I detta dokument överväger vi problemet med att kontinuerligt upptäcka bildinnehåll genom att aktivt ställa bildbaserade frågor och därefter svara på de frågor som ställs. Nyckelkomponenterna är en modul för visuell frågegenerering (VQG) och en modul för visuellt svar på frågor, där Recurrent Neural Networks (RNN) och Convolutional Neural Network (CNN) används. Med tanke på en datauppsättning som innehåller bilder, frågor och svar tränas båda modulerna samtidigt, och skillnaden är att VQG använder bilderna som indata och motsvarande frågor som utdata, medan VQA använder bilder och frågor som indata och motsvarande svar som utdata. Vi utvärderar själv pratprocessen subjektivt med Amazon Mechanical Turk, som visar effektiviteten i den föreslagna metoden.
Ett av verken inom detta område är REF där författarna föreslog en metod för att kontinuerligt generera frågor från en bild och därefter svara på de frågor som genereras.
Neural Self Talk: Image Understanding via Continuous Questioning and Answering
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}