Abstract-Relatera visuell information till dess språkliga semantiska betydelse är fortfarande ett öppet och utmanande forskningsområde. Den semantiska betydelsen av bilder beror på närvaron av objekt, deras attribut och deras förhållande till andra objekt. Men just karakterisera detta beroende kräver att extrahera komplex visuell information från en bild, som i allmänhet är ett svårt och ändå olöst problem. I denna uppsats föreslår vi att vi studerar semantisk information i abstrakta bilder skapade från samlingar av klippkonst. Abstrakta bilder ger flera fördelar jämfört med riktiga bilder. De möjliggör en direkt studie av hur man kan härleda semantisk information på hög nivå, eftersom de tar bort beroendet av bullriga objekt på låg nivå, attribut- och relationsdetektorer, eller den tråkiga handmärkningen av verkliga bilder. Viktigt är att abstrakta bilder också gör det möjligt att generera uppsättningar av semantiskt liknande scener. Att hitta liknande uppsättningar av verkliga bilder som är semantiskt likartade skulle vara nästan omöjligt. Vi skapar 1,002 uppsättningar av 10 semantiskt liknande abstrakta bilder med motsvarande skriftliga beskrivningar. Vi analyserar noggrant detta dataset för att upptäcka semantiskt viktiga funktioner, förhållandet mellan ord och visuella funktioner och metoder för att mäta semantisk likhet. Slutligen studerar vi relationen mellan föremålens soliditet och memorabilitet och deras semantiska betydelse.
Zitnik m.fl. REF har undersökt möjligheterna att använda abstrakta bilder för att studera semantik på hög nivå, såsom semantiskt viktiga drag, relationer mellan saliensminne av objekt, och kartläggning av meningar till abstrakta scener.
Adopting Abstract Images for Semantic Scene Understanding
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Computer Science', 'Medicine']}