Att beskriva huvudhändelsen i en bild innebär att identifiera de avbildade objekten och förutsäga sambanden mellan dem. Tidigare metoder har representerat bilder som ostrukturerade påsar av regioner, vilket gör det svårt att exakt förutsäga meningsfulla relationer mellan regioner. I detta papper introducerar vi visuellt beroende representationer för att fånga sambanden mellan objekten i en bild, och hypothesize att denna representation kan förbättra bildbeskrivningen. Vi testar denna hypotes med hjälp av en ny data uppsättning region-annoterade bilder, i samband med visuella beroende representationer och guld-standardbeskrivningar. Vi beskriver två mallbaserade beskrivande generation modeller som fungerar över visuella beroende representationer. I en bildbeskrivningsuppgift finner vi att dessa modeller överträffar metoder som bygger på objektnärhet eller corpus information för att generera beskrivningar av både automatiska åtgärder och mänskliga bedömningar.
Visuell beroenderepresentation föreslås för att extrahera relationer mellan objekten REF.
Image Description using Visual Dependency Representations
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}