Att förstå en scen på djupet innebär inte bara att lokalisera/känna igen enskilda objekt, utan kräver också att dra slutsatser om relationer och interaktioner mellan dem. Men eftersom fördelningen av verkliga relationer är allvarligt obalanserad, fungerar befintliga metoder ganska dåligt för de mindre frekventa relationerna. I detta arbete finner vi att de statistiska korrelationerna mellan objektpar och deras relationer effektivt kan regularisera semantiskt utrymme och göra förutsägelsen mindre tvetydig, och därmed väl ta itu med den obalanserade distributionsfrågan. För att uppnå detta inkorporerar vi dessa statistiska korrelationer i djupa neurala nätverk för att underlätta scengrafikgenerering genom att utveckla ett Knowledge-Embedded Routing Network. Mer specifikt visar vi att de statistiska korrelationerna mellan objekt som visas i bilder och deras relationer, kan explicit representeras av en strukturerad kunskapsgraf, och en routingmekanism lärs sig att sprida meddelanden genom grafen för att utforska deras interaktioner. Omfattande experiment på den storskaliga Visual Genome dataset visar överlägsenheten av den föreslagna metoden jämfört med nuvarande toppmoderna konkurrenter.
För att ytterligare utforska uppgifter på hög nivå, Ref ) överväga sambanden mellan specifika objekt par och deras motsvarande relationer för att regularisera scen grafgenerering och därmed lindra effekten av den ojämna distributionsfrågan.
Knowledge-Embedded Routing Network for Scene Graph Generation
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}