Abstrakt. Skapar scendiagram för att beskriva objekt växelverkan inuti en bild vinner ökande intressen dessa år. De flesta av de tidigare metoderna använder dock komplicerade strukturer med långsam inferenshastighet eller förlitar sig på externa data, vilket begränsar användningen av modellen i verkliga scenarier. För att förbättra effektiviteten i scengrafikgenerering föreslår vi en subgrafbaserad anslutningsgraf för att koncist representera scengrafen under inferensen. En nedifrån-och-upp klustermetoden används först för att faktorisera hela grafen till subgrafer, där varje subgraf innehåller flera objekt och en delmängd av deras relationer. Genom att ersätta de många relationsrepresentationerna av scengrafen med färre subgraf- och objektfunktioner minskas beräkningen i det mellanliggande skedet avsevärt. Dessutom upprätthålls rumslig information av subgraffunktionerna, som utnyttjas av vår föreslagna rumsligt viktade Message Passing (SMP) struktur och rumslig-känslig Relation Inference (SRI) modul för att underlätta relationsigenkänning. På de senaste Visual Relationation Detection och Visual Genome dataset, vår metod överträffar den senaste metoden i både noggrannhet och hastighet. Koden har offentliggjorts 6.
För att förbättra modellernas skalbarhet försöker REF ta itu med problemet med de kvadratiska kombinationerna av möjliga relationer genom att införa en koncis subgrafbaserad representation av scengrafen.
Factorizable Net: An Efficient Subgraph-based Framework for Scene Graph Generation
{'venue': 'ECCV', 'journal': None, 'mag_field_of_study': ['Computer Science']}