Bild-text matchning har varit ett hett forskningsämne överbrygga vision och språkområden. Det är fortfarande en utmaning eftersom bildens nuvarande representation vanligtvis saknar globala semantiska begrepp som i dess motsvarande texttext. För att ta itu med denna fråga föreslår vi en enkel och tolkningsbar resonemangsmodell för att generera visuell representation som fångar viktiga objekt och semantiska begrepp i en scen. Speciellt bygger vi först upp förbindelser mellan bildregioner och utför resonemang med Graph Convolutional Networks för att generera funktioner med semantiska relationer. Sedan föreslår vi att vi använder grind- och minnesmekanismen för att utföra globala semantiska resonemang om dessa relationsförstärkta funktioner, väljer den diskriminativa informationen och så småningom skapar representationen för hela scenen. Experiment validerar att vår metod uppnår en ny toppmodern för bildtextmatchning på MS-COCO [28] och Flickr30K [40] datauppsättningar. Det överträffar den nuvarande bästa metoden med 6,8 % relativt för bildsökning och 4,8 % relativt för bildsökning på MS-COCO (Recall@1 med 1K testuppsättning). På Flickr30K förbättrar vår modell bildsökningen med 12,6 % relativt och bildåterhämtningen med 5,8 % relativt (Recall@1).
Genom resonemang om regionala relationer och globalt semantiskt resonemang förbättrar REF bildrepresentationen för att bättre anpassa den till motsvarande texttext.
Visual Semantic Reasoning for Image-Text Matching
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}