Abstrakt. I den här artikeln studerar vi problemet med bild-text matchning. Härav den latenta semantiska anpassningen mellan objekt eller andra framträdande saker (t.ex. snö, himmel, gräsmatta) och motsvarande ord i meningar gör det möjligt att fånga finkornigt samspel mellan syn och språk, och gör bild-text matchning mer tolkningsbar. Tidigare arbete antingen helt enkelt aggregerar likheten mellan alla möjliga par av regioner och ord utan att vara olika till mer och mindre viktiga ord eller regioner, eller använder en flerstegs uppmärksamhetsprocess för att fånga ett begränsat antal semantiska anpassningar som är mindre tolkningsbara. I detta dokument presenterar vi Stacked Cross Uppmärksamhet för att upptäcka de fulla latenta anpassningarna med hjälp av både bildregioner och ord i en mening som sammanhang och infer bild-text likhet. Vår strategi uppnår de senaste resultaten på MS-COCO- och Flickr30K-dataseten. På Flickr30K överträffar vårt tillvägagångssätt de nuvarande bästa metoderna med 22,1 % relativt i textsökning från bildförfrågan och 18,2 % relativt i bildsökning med textförfrågan (baserat på Recall@1). När det gäller MS-COCO förbättrar vår strategi straffhämtningen med 17,8 % relativt och bildsökningen med 16,6 % relativt (baserat på Recall@1 med hjälp av 5K-testuppsättningen). Koden har gjorts tillgänglig på https://github.com/kuanghuei/SCAN.
REF ) föreslå en staplad korsuppmärksamhet modell för att upptäcka alla möjliga anpassningar mellan bildobjekt och textord, och förutsäga bild-text matchning med två gratis formuleringar.
Stacked Cross Attention for Image-Text Matching
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}