Människor har den anmärkningsvärda förmågan att härleda motiven till andra människors handlingar, troligen på grund av kognitiva färdigheter som inom psykofysiken kallas sinnesteori. I denna uppsats strävar vi efter att bygga en beräkningsmodell som förutsäger motivationen bakom människors handlingar från bilder. Såvitt vi vet har detta utmanande problem ännu inte utforskats i stor utsträckning i datorseendet. Vi presenterar en ny inlärningsbaserad ram som använder visuellt erkännande på hög nivå för att dra slutsatsen varför människor utför en handling i bilder. Informationen i en bild kan dock inte vara tillräcklig för att automatiskt lösa denna uppgift. Eftersom människor kan förlita sig på sina egna erfarenheter för att dra slutsatsen motivation, föreslår vi att ge datorsynsystem tillgång till några av dessa upplevelser genom att använda nyligen utvecklade naturliga språkmodeller för att min kunskap lagras i massiva mängder text. Medan vi fortfarande är långt borta från att automatiskt dra slutsatsen motivation, våra resultat tyder på att överföra kunskap från språk till vision kan hjälpa maskiner att förstå varför en person kan utföra en handling i en bild. * betecknar lika bidrag
På senare tid försöker REF dra slutsatsen att personen i bilden är motiverad genom att gruvkunskaper lagras i en stor corpus med hjälp av tekniker för bearbetning av naturligt språk.
Inferring the Why in Images
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}