Dramatiska framsteg har setts i grundläggande visionsuppgifter med låg nivå perception, såsom objektigenkänning, upptäckt och spårning. Tyvärr finns det fortfarande en enorm prestandaklyfta mellan artificiella visionssystem och mänsklig intelligens när det gäller synproblem på högre nivå, särskilt sådana som inbegriper resonemang. Tidigare försök att utrusta maskiner med hög nivå resonemang har svävat runt Visual Question Answering (VQA), en typisk uppgift som associerar vision och språkförståelse. I detta arbete föreslår vi en ny datauppsättning, byggd i samband med Ravens progressiva matriser (RPM) och som syftar till att lyfta maskinintelligensen genom att associera vision med strukturellt, relationellt och analogt resonemang i en hierarkisk representation. Till skillnad från tidigare verk i att mäta abstrakt resonemang med hjälp av RPM etablerar vi en semantisk länk mellan vision och resonemang genom att tillhandahålla strukturrepresentation. Detta tillägg möjliggör en ny typ av abstrakt resonemang genom att gemensamt arbeta med strukturrepresentationen. Maskinresonemang förmåga med hjälp av moderna datorseende utvärderas i denna nyligen föreslagna datauppsättning. Dessutom tillhandahåller vi också mänskliga prestationer som referens. Slutligen visar vi konsekvent förbättring över alla modeller genom att införliva en enkel neural modul som kombinerar visuell förståelse och struktur resonemang.
Zhang m.fl. I REF föreslås ett dynamiskt restträd (DRT) som tillsammans fungerar på området för bildförståelse och strukturresonemang.
RAVEN: A Dataset for Relational and Analogical Visual REasoNing
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}