Abstrakt. Diagram är vanliga verktyg för att representera komplexa begrepp, relationer och händelser, ofta när det skulle vara svårt att skildra samma information med naturliga bilder. Förståelse för naturliga bilder har studerats i stor utsträckning i datorseendet, medan diagramförståelse har fått liten uppmärksamhet. I detta dokument studerar vi problemet med diagramtolkning och resonemang, den utmanande uppgiften att identifiera strukturen på ett diagram och semantiken hos dess beståndsdelar och deras relationer. Vi introducerar Diagram Parse Graphs (DPG) som vår representation för att modellera strukturen av diagram. Vi definierar syntaktisk tolkning av diagram som att lära sig att härleda DPG för diagram och studera semantisk tolkning och resonemang av diagram i samband med diagramfrågasvar. Vi utformar en LSTM-baserad metod för syntaktisk tolkning av diagram och introducerar en DPG-baserad uppmärksamhetsmodell för diagramfrågasvar. Vi sammanställer en ny uppsättning diagram med uttömmande kommentarer om beståndsdelar och relationer för över 5 000 diagram och 15 000 frågor och svar. Våra resultat visar betydelsen av våra modeller för syntaktisk tolkning och frågesvar i diagram med hjälp av DPG.
Kebhavi m.fl. REF använde ett konvolutionsneuralt nätverk (CNN) för att studera problemet med diagramtolkning och resonemang.
A Diagram Is Worth A Dozen Images
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}