Abstrakt. Det är alltid väl trott att modellering relationer mellan objekt skulle vara till hjälp för att representera och så småningom beskriva en bild. Icke desto mindre har det inte funnits några bevis till stöd för idén om bildbeskrivningsgenerering. I detta dokument introducerar vi en ny design för att utforska kopplingarna mellan objekt för bildtextning under paraplyet av uppmärksamhetsbaserad kodare-dekoder ram. Specifikt presenterar vi Graph Convolutional Networks plus Long Short-Term Memory (dubblad som GCN-LSTM) arkitektur som romant integrerar både semantiska och rumsliga objektrelationer i bildkodare. Tekniskt sett bygger vi grafer över de upptäckta objekten i en bild baserad på deras rumsliga och semantiska anslutningar. Representationerna för varje region som föreslås på objekt förfinas sedan genom att utnyttja grafstrukturen genom GCN. Med de inlärda region-nivån funktioner, vår GCN-LSTM kapitaliserar på LSTM-baserade bildtextram med uppmärksamhetsmekanism för meningsgenerering. Omfattande experiment utförs på COCO bildtextering datauppsättning, och överlägsna resultat rapporteras när man jämför med state-of-the-art metoder. Mer anmärkningsvärt ökar GCN-LSTM CIDER-D-prestandan från 120,1 % till 128,7 % på COCO testset.
REF utforskade den visuella relationens roll i bildtextningen.
Exploring Visual Relationship for Image Captioning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}