Att skapa naturliga frågor från en bild är en semantisk uppgift som kräver att man använder visuell och språklig modalitet för att lära sig multimodala representationer. Bilder kan ha flera visuella och språkliga sammanhang som är relevanta för att generera frågor: platser, bildtexter och taggar. I detta dokument föreslår vi att exemplar används för att få fram det relevanta sammanhanget. Vi får detta genom att använda ett multimodalt differentialnätverk för att producera naturliga och engagerande frågor. De frågor som uppstår visar på en anmärkningsvärd likhet med de naturliga frågor som bekräftas av en mänsklig studie. Vidare konstaterar vi att det föreslagna tillvägagångssättet avsevärt förbättras jämfört med toppmoderna riktmärken för de kvantitativa mätvärdena (BLEU, METEOR, ROUGE och CIDER).
Ref har föreslagit en exempelbaserad förklaringsmetod för att generera frågor baserade på bilden.