Visuell relationsdetektering kan överbrygga klyftan mellan datorseende och naturligt språk för scenförståelse av bilder. Olika från ren objektigenkänning uppgifter, förhållandet trillingar av subjekt predicate-objekt ligger på en extrem mångfald utrymme, såsom person-bakom-person och bil-bakom-byggnad, medan lider av problemet med combinatorial explosion. I detta dokument föreslår vi ett sammanhangsberoende nätverk för spridning (CDDN) för att hantera visuell relationsdetektering. För att fånga interaktioner mellan olika objekt instanser, två typer av grafer, ord semantisk graf och visuell scen graf, konstrueras för att koda globalt sammanhang ömsesidigt beroende. Den semantiska grafen är byggd genom språket före modellsemantiska korrelationer över objekt, medan den visuella scengrafen definierar kopplingarna mellan scenobjekt för att utnyttja den omgivande sceninformationen. För grafstrukturerade data designar vi ett diffusionsnätverk till adaptivt aggregerad information från sammanhang, som effektivt kan lära sig latenta representationer av visuella relationer och väl tillgodose visuell relation upptäckt med tanke på dess isomorfa invariant till grafer. Experiment på två allmänt använda dataset visar att vår föreslagna metod är mer effektiv och uppnår de senaste resultaten.
Verket Ref syftar till att fånga upp samspelet mellan olika objekt med hjälp av ett sammanhangsberoende diffusionsnätverk (CCDN).
Context-Dependent Diffusion Network for Visual Relationship Detection
{'venue': "MM '18", 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}