Bildspråksmatchande uppgifter har nyligen rönt stor uppmärksamhet inom området datorseende. Dessa uppgifter inkluderar bild-sentence matchning, dvs., med tanke på en bild fråga, hämta relevanta meningar och vice versa, och region-fras matchning eller visuell grundläggning, dvs. att matcha en fras till relevanta regioner. Detta dokument undersöker två-grenar neurala nätverk för att lära sig likheten mellan dessa två data metoder. Vi föreslår två nätverksstrukturer som producerar olika output representationer. Den första, som kallas ett inbäddande nätverk, lär sig en explicit delad latent inbäddning utrymme med en maximal marginal rankning förlust och nya kvarter begränsningar. Jämfört med standardtrillprovtagning utför vi förbättrad områdesprovtagning som tar hänsyn till områdesinformation när vi bygger minibatcher. Den andra nätverksstrukturen, som kallas ett likhetsnätverk, smälter samman de två grenarna via elementvis produkt och tränas med regressionsförlust för att direkt förutsäga en likhetspoäng. Omfattande experiment visar att våra nätverk uppnår hög noggrannhet för fraslokalisering på Flickr30K-enheters dataset och för dubbelriktad bildavslutningshämtning på Flickr30K- och MSCOCO-dataset.
I Ref föreslås ett inbäddningsnät för att helt ersätta den likhetsåtgärd som används för rangförlusten.
Learning Two-Branch Neural Networks for Image-Text Matching Tasks
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Computer Science', 'Medicine']}