Detta dokument fokuserar på scengrafik färdigställande som syftar till att förutsäga nya relationer mellan två enheter som använder befintliga scen grafer och bilder. Genom att jämföra med den välkända kunskapsgrafen identifierar vi först att varje scengraf är associerad med en bild och varje enhet av en visuell trippel i en scen graf består av sin enhetstyp med attribut och jordas med en avgränsande ruta i sin motsvarande bild. Vi föreslår sedan en end-to-end modell som heter Representation Learning via Jointly Struktural and Visual Embedding (RLSV) för att dra nytta av strukturell och visuell information i scengrafik. I RLSV-modellen tillhandahåller vi en helkonvolutionell modul för att extrahera de visuella inbäddningarna av en visuell trippel och applicera hierarkisk projektion för att kombinera de strukturella och visuella inbäddningarna av en visuell trippel. I experiment utvärderar vi vår modell i två scengrafikbehandlingar: länkförutsägelse och visuell trippelklassificering och ytterligare analys genom fallstudier. Experimentella resultat visar att vår modell överträffar alla baslinjer i båda uppgifterna, vilket motiverar betydelsen av att kombinera strukturell och visuell information för scengrafikkomplettering.
Wan m.fl. REF förutspår specifikt nya trioler för scengrafikkomplettering med hjälp av befintliga scengrafer och visuella funktioner.
Representation Learning for Scene Graph Completion via Jointly Structural and Visual Embedding
{'venue': 'IJCAI', 'journal': None, 'mag_field_of_study': ['Computer Science']}