Testing Figur 1: Under utbildningen, med en datauppsättning bestående av par bilder och motsvarande texter (här bildtexter), lär vi oss modeller för de två uppgifterna (Im2Text och Text2Im) med hjälp av en gemensam bild-text representation. Medan testing för Im2Text, med tanke på en frågebild, utför vi hämtning på en samling av endast textprover med hjälp av den lärda modellen. På samma sätt, för Text2Im, med tanke på en frågetext, hämtning utförs på en databas som endast består av bilder. Att automatiskt beskriva bildinnehåll med text är ett av de utmanande och intressanta forskningsproblemen i datorseendet. Ett kompletterande problem till detta är att automatiskt associera semantiskt relevanta bilder med en textbit, och kallas ofta för bildsökningsuppgiften. I detta arbete tar vi upp problemet med att lära sig bilaterala samband mellan visuella och textrelaterade data. Vi studerar två kompletterande uppgifter: (i) förutsäga text(er) med en bild ("Im2Text"), och (ii) förutsäga bild(er) med ett textstycke ("Text2Im"). Medan flera befintliga metoder (t.ex. [1]) antar data från båda metoderna under testfasen, liknar motivet för detta arbete de få kända verk (t.ex. [2]) som inte gör ett sådant antagande. Detta innebär att för Im2Text, med tanke på en frågebild, vår metod hämtar en rankad lista över semantiskt relevanta texter från en vanlig text-korpus som inte har några tillhörande bilder. På samma sätt, för Text2Im, med tanke på en frågetext, den hämtar en rankad lista av bilder från en oberoende bildsamling utan någon tillhörande text meta-data. De viktigaste bidragen från detta arbete är: (1) Vi föreslår en ny strukturell SVM baserad enhetlig ram för båda dessa uppgifter. Vi använder vektorrepresentationer för både visuell (bild) och textdata som baseras på sannolikhetsfördelningar över latenta ämnen. Från dessa, vi bildar en gemensam funktion vektor med tensor produkt av inmatning och utmatning representationer. Eftersom utdatan representeras i form av en vektor, använder vi Manhattan (M) och Euclidean (E) avstånd som våra förlustfunktioner. Eftersom det föreslagna tillvägagångssättet utför de två kompletterande uppgifterna (Im2Text och Text2Im) inom en enda enhetlig ram, hänvisar vi till det som Bilateral Image-Text Retrieval (eller BITR). Figur 1 förklarar kärnan i vårt ramverk. (2) Vi undersöker generalisering av olika metoder mellan dataset när textdata är i form av bildtexter. För detta lär vi oss modeller från en datauppsättning och utför hämtning på en annan. Så vitt vi vet är vår studie den första på detta område. Exp.1 Exp.2 Figur 2: Resultat på IAPR TC-12 datauppsättning för hämtning inom datauppsättningen (överst) och crossdatauppsättningen (underst) bildkaptur. Vi utför experiment på tre datauppsättningar (UIUC Pascal Sentence dataset, IAPR TC-12-riktmärke, och SBU-Captioned Photo dataset), och jämför vår strategi med WSABIE [3] och CCA. Detta är två välkända metoder som kan skalas till stora datamängder och som har visat sig fungera bra för att lära sig tvärmodala föreningar. Medan CCA-baserade metoder tidigare har använts under sådana inställningar [2] föreslogs WSABIE ursprungligen för uppgiften att upphöja etiketter och kan därför inte användas direkt för bildtexter. Vi gör detta genom att anpassa det till texttexter, vars detaljer finns i den kompletterande akten. Vi överväger två typer av representationer för visuella och textrelaterade data. Den första representationen fångar upp semantik på hög nivå av data i form av enmodala ämnesfördelningar inlärda med latent Dirichlet allokering. Vi hänvisar till detta som semantisk representation (eller SR). Den andra representationen kombinerar SR med tvärmodala korrelationer som man lärt sig mellan ingångs- och utgångsutrymme. Vi hänvisar till detta som korrelerad semantisk representation (eller CSR). Vi utför experiment under olika inställningar när textdata är i form av antingen texttexter, eller fraser, eller etiketter. Här diskuterar vi de två experimenten när textdata är i form av bildtexter. I det första experimentet (Exp.1) lär vi oss datauppsättningsspecifika modeller separat för både uppgifterna (Im2Text och Text2Im). Och i det andra experimentet (Exp.2) analyserar vi generaliseringsförmågan hos olika metoder över datauppsättningar. För detta, istället för att lära modeller för varje datauppsättning individuellt, använder vi modeller inlärda med SBU dataset i Exp.1 och utvärdera prestanda på de andra två dataset, dvs... Pascal och IAPR TC-12. Exakt, för Im2Text, vi anser frågebilder från Pascal eller IAPR TC-12 dataset, och utföra hämtning på bildtexter av SBU dataset. På samma sätt, för Text2Im, vi överväga frågetext från Pascal eller IAPR TC-12 dataset, och utföra hämtning på bildsamlingen av SBU dataset. I både Exp.1 och Exp.2, använder vi BLEU och Rouge mätvärden för utvärdering. I figur 2 jämförs resultaten för olika metoder för IAPR TC-12-datauppsättningen (se dokumentet för fler resultat). Här kan vi observera att: a) För alla de tre metoderna brukar prestandan förbättras genom att använda CSR jämfört med SR. Detta visar på fördelen med att uttryckligen ingjuta korskorrelationer i datarepresentationen. b) Vid korsdatasetförsök (Exp.2) bryts alla metoder ned betydligt jämfört med Exp.1. Detta återspeglar effekten av datauppsättningsspecifika förutfattade meningar, och understryker därför behovet av att utföra korsvisa utvärderingar. c) I de flesta fall uppnår den föreslagna metoden lovande resultat och i de flesta fall överträffar den befintliga tekniken.
Bilaterala Image-Text Retrieval (BITR) REF tar upp problemet med att lära bilaterala associationer mellan visuella och textrelaterade data baserade på strukturell SVM.
Im2Text and Text2Im: Associating Images and Texts for Cross-Modal Retrieval.
{'venue': 'BMVC', 'journal': None, 'mag_field_of_study': ['Computer Science']}