Textuell-visuell matchning syftar till att mäta likheter mellan meningsbeskrivningar och bilder. De flesta befintliga metoder tar itu med detta problem utan att på ett effektivt sätt använda sig av kommentarer på identitetsnivå. I detta dokument föreslår vi en identitetsmedveten tvåstegsram för problemet med matchning mellan text och bild. Vårt stadium-1 CNN-LSTM nätverk lär sig att bädda in cross-modal funktioner med en ny Cross-Modal Cross-Entropy (CMCE) förlust. Stage-1 nätverket kan effektivt skärma enkla felaktiga matchningar och även ge inledande träningspunkt för steg 2-träning. Steg 2 CNN-LSTM-nätverket förfinar de matchande resultaten med en latent co-attention mekanism. Den rumsliga uppmärksamheten relaterar varje ord med motsvarande bildregioner medan den latenta semantiska uppmärksamheten anpassar olika meningsstrukturer för att göra de matchande resultaten mer robusta till meningsstrukturvariationer. Omfattande experiment på tre datauppsättningar med identitetsnoteringar visar att vårt ramverk överträffar toppmoderna metoder med stora marginaler.
För att använda annoteringar på identitetsnivå, Li et al. I REF föreslås en identitetsmedveten ram i två steg.
Identity-Aware Textual-Visual Matching with Latent Co-attention
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}