Vi undersöker problemet med att producera strukturerade graf representationer av visuella scener. I vårt arbete analyseras motivens roll: regelbundet framträder understrukturer i scengrafer. Vi presenterar nya kvantitativa insikter om sådana upprepade strukturer i Visual Genome dataset. Vår analys visar att objektetiketter är mycket prediktiva för relationsetiketter men inte tvärtom. Vi finner också att det finns återkommande mönster även i större subgrafer: mer än 50 % av graferna innehåller motiv med minst två relationer. Vår analys motiverar en ny baslinje: givet objekt upptäckter, förutsäga den mest frekventa relationen mellan objekt par med givna etiketter, som ses i träningssetet. Denna baslinje förbättras jämfört med den senaste tekniken med i genomsnitt 3,6 % relativ förbättring mellan olika utvärderingsmiljöer. Vi introducerar sedan Stacked Motif Networks, en ny arkitektur utformad för att fånga högre ordning motiv i scengrafer som ytterligare förbättrar över vår starka baslinje med en genomsnittlig 7,1% relativ vinst. Vår kod finns på github.com/rowanz/neural-motifs.
I REF, Zellers et al. Designad Stacked Motif Network för att fånga högre ordning understrukturer i scen grafer.
Neural Motifs: Scene Graph Parsing with Global Context
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}