I detta dokument presenterar vi mQA-modellen, som kan svara på frågor om innehållet i en bild. Svaret kan vara en mening, en fras eller ett enda ord. Vår modell innehåller fyra komponenter: ett Long-Short Term Memory (LSTM) för att extrahera frågerepresentationen, ett Convolutional Neural Network (CNN) för att extrahera den visuella representationen, en LSTM för att lagra det språkliga sammanhanget i ett svar, och en fusing komponent för att kombinera informationen från de tre första komponenterna och generera svaret. Vi konstruerar en Freestyle Flerspråkig bild Question Answering (FM-IQA) datauppsättning för att träna och utvärdera vår mQA-modell. Den innehåller över 120.000 bilder och 250.000 freestyle kinesiska frågesvar par och deras engelska översättningar. Kvaliteten på de svar som genereras av vår mQA-modell på denna datauppsättning utvärderas av mänskliga domare genom ett Turingtest. Vi blandar närmare bestämt de svar som människor och vår modell ger. De mänskliga domarna måste skilja vår modell från människan. De kommer också att ge en poäng (dvs. 0, 1, 2, ju större desto bättre) indikerar kvaliteten på svaret. Vi föreslår strategier för att övervaka kvaliteten på denna utvärderingsprocess. Experimenten visar att i 64,7% av fallen kan de mänskliga domarna inte skilja vår modell från människor. Medelpoängen är 1,454 (1,918 för människa).
Därför bad REF människor att bedöma om de genererade svaren tillhandahölls av en människa eller en modell.
Are You Talking to a Machine? Dataset and Methods for Multilingual Image Question Answering
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}