Den visuella världens komplexitet skapar stora utmaningar för en omfattande visuell förståelse. Trots de senaste framgångarna med visuellt erkännande skulle dagens visionssystem fortfarande ha svårt att hantera visuella frågor som kräver ett djupare resonemang. Vi föreslår en kunskapsbas (KB) ram för att hantera ett sortiment av visuella frågor, utan behov av att utbilda nya klassificeringar för nya uppgifter. Att bygga en sådan storskalig multimodal KB innebär en stor utmaning för skalbarheten. Vi gjorde en storskalig MRF till en KB-representation som införlivade visuella, textrelaterade och strukturerade data samt deras olika relationer. Vi introducerar ett skalbart kunskapsbassystem som kan bygga en KB med en halv miljard variabler och miljontals parametrar på några timmar. Vårt system uppnår konkurrenskraftiga resultat jämfört med specialbyggda modeller på standardigenkännings- och hämtningsuppgifter, samtidigt som vi har större flexibilitet när det gäller att svara på rikare visuella frågor.
Zhu m.fl. REF byggde till och med en storskalig multimodal kunskapsbas för VQA-ändamål.
Building a Large-scale Multimodal Knowledge Base System for Answering Visual Queries
{'venue': None, 'journal': 'arXiv: Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}