Abstrakt. Att känna igen visuella relationer subjekt-predicate-objekt bland varje par av lokaliserade objekt är avgörande för bildförståelse. Tidigare studier har visat på anmärkningsvärda framsteg när det gäller att utnyttja språklig förhandsinformation eller extern textinformation för att förbättra prestandan. I detta arbete undersöker vi ett ortogonalt perspektiv baserat på funktionsinteraktioner. Vi visar att genom att uppmuntra djup meddelandespridning och interaktioner mellan lokala objekt funktioner och globala predikat funktioner, kan man uppnå övertygande prestanda i att känna igen komplexa relationer utan att använda några språkliga tidigare. I detta syfte presenterar vi två nya pooling celler för att uppmuntra funktionsinteraktioner: (i) Kontrastiv ROI Pooling Cell, som har en unik deROI pooling som omvänt poolar lokala objekt funktioner till motsvarande område av globala predikat funktioner. (ii) Pyramid ROI Pooling Cell, som sänder globala predikat funktioner för att förstärka lokala objektfunktioner. De två cellerna utgör en Spatiality-Context-Appearance Module (SCA-M), som kan ytterligare staplas i följd för att bilda vårt slutliga Zoom-Net. Vi kastar vidare ljus över hur man kan lösa tvetydiga och bullriga föremål och predikera annoteringar av intrahierarkiska träd (IH-träd). Omfattande experiment utförda på Visual Genome dataset [1] visar effektiviteten av vår funktionsorienterade strategi jämfört med state-of-theart metoder (Acc@1 11,42% från 8,16% [2] ) som beror på explicit modellering av språkliga interaktioner. Vi visar vidare att SCA-M kan integreras sömlöst i befintliga metoder [2] för att förbättra prestandan med stor marginal. Källkoden kommer att släppas på https://github.com/gjyint1/ZoomNet.
Guojun Yin m.fl. I REF ) föreslogs en inställningsmodul för rumsliga sammanhang för att ta hänsyn till den relativa positionsinformationen mellan objekt och predikat.
Zoom-Net: Mining Deep Feature Interactions for Visual Relationship Recognition
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}