Abstrakt. Visuella relationer fångar en mängd olika interaktioner mellan par av objekt i bilder (t.ex. "man rider cykel" och "man kör cykel"). Följaktligen är uppsättningen möjliga relationer extremt stor och det är svårt att få tillräckligt med övningsexempel för alla möjliga relationer. På grund av denna begränsning, tidigare arbete med visuell relation upptäckt har koncentrerat sig på att förutsäga endast en handfull relationer. Även om de flesta relationer är ovanliga, deras objekt (t.ex. "man" och "cykel") och predikerar (t.ex. "ridning" och "pushing") förekommer oftare. Vi föreslår en modell som använder denna insikt för att träna visuella modeller för objekt och predikar individuellt och senare kombinerar dem tillsammans för att förutsäga flera relationer per bild. Vi förbättrar på tidigare arbete genom att utnyttja språk tidigare från semantiska ord inbäddningar för att finjustera sannolikheten för en förutsagd relation. Vår modell kan skala för att förutsäga tusentals typer av relationer från några exempel. Dessutom lokaliserar vi objekten i de förutsagda relationerna som avgränsande rutor i bilden. Vi visar vidare att förståelse för relationer kan förbättra innehållsbaserad bildsökning.
I ett av de tidigaste verken, Lu et al. REF utnyttjar objektdetektionsutgången från en R-CNN-detektor och utnyttjar språkföredrag från semantiska ordinbäddningar för att finjustera sannolikheten för ett förutsagt förhållande.
Visual Relationship Detection with Language Priors
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}