Vi gifter oss med två kraftfulla idéer: djup representationsinlärning för visuellt erkännande och språkförståelse, och symboliskt programgenomförande för resonemang. Vårt neural-symboliska visuella frågesvar (NS-VQA) systemet återhämtar först en strukturell scen representation från bilden och ett program spår från frågan. Den utför sedan programmet på platsen representation för att få ett svar. Att införliva symbolisk struktur som tidigare kunskap ger tre unika fördelar. För det första, att köra program på ett symboliskt utrymme är mer robust för långa program spår; vår modell kan lösa komplexa resonemang uppgifter bättre, uppnå en noggrannhet på 99,8 % på CLEVR datasetet. För det andra är modellen mer data- och minneseffektiv: den fungerar bra efter att ha lärt sig ett litet antal träningsdata; den kan också koda en bild till en kompakt representation, vilket kräver mindre lagring än befintliga metoder för att besvara frågor offline. För det tredje, symboliskt program utförande ger full insyn i resonemangsprocessen; vi kan därför tolka och diagnostisera varje utförande steg.
Till exempel Yi et al. REF presenterar ett neural-symboliskt VQA-system som använder djupa nätverk för att härleda strukturell objektbaserad scenrepresentation från bilder, och för att generera ett hierarkiskt (symboliskt) program av funktionella moduler från frågan.
Neural-Symbolic VQA: Disentangling Reasoning from Vision and Language Understanding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}