Bild och mening matchning har gjort stora framsteg nyligen, men det är fortfarande utmanande på grund av den stora visualsemantiska diskrepansen. Detta beror främst på att representationen av pixel-nivå bild vanligtvis saknar hög nivå semantisk information som i sin matchade mening. I detta arbete föreslår vi en semantisk-förstärkt bild- och meningsmatchningsmodell, som kan förbättra bildrepresentationen genom att lära sig semantiska begrepp och sedan organisera dem i en korrekt semantisk ordning. Med en bild använder vi först en multiregional multi-etikett CNN för att förutsäga dess semantiska begrepp, inklusive objekt, egenskaper, åtgärder, etc. Sedan, med tanke på att olika klasser av semantiska begrepp leder till olika semantiska betydelser, använder vi ett sammanhangsbundet meningsgenereringssystem för semantisk ordningsinlärning. Samtidigt använder man bilden global kontext som innehåller begreppsrelationer som referens och den jordsanningssemantiska ordningen i den matchade meningen som övervakning. Efter att ha fått den förbättrade bildrepresentationen lär vi oss meningsrepresentationen med en konventionell LSTM, och utför sedan tillsammans bild- och meningsmatchning och meningsgenerering för modellinlärning. Omfattande experiment visar effektiviteten i våra lärda semantiska koncept och ordning, genom att uppnå de senaste resultaten på två offentliga referensdatauppsättningar.
REF ) förutse en bilds semantiska begrepp, inklusive objekt, egenskaper och åtgärder för att skapa en mer exakt koppling mellan visuell och textmässig modalitet.
Learning Semantic Concepts and Order for Image and Sentence Matching
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}