Bilder i den vilda inkapslade rik kunskap om varierande abstrakta begrepp och kan inte beskrivas tillräckligt med modeller som endast byggs med bild-caption par som innehåller utvalda objekt. Vi föreslår att en sådan uppgift hanteras med vägledning från en kunskapsbas som innehåller många abstrakta begrepp. Vår metod är en tvåstegsprocess där vi först bygger en multi-entity-märkt bildigenkänningsmodell för att förutsäga abstrakta begrepp som bildetiketter och sedan utnyttja dem i det andra steget som en extern semantisk uppmärksamhet och begränsad inferens i bildåtergivningsmodellen för att beskriva bilder som skildrar osynliga/nya objekt. Utvärderingar visar att våra modeller överträffar det mesta av det tidigare arbetet för outof-domain captioning på MSCOCO och är användbara för integrering av kunskap och vision i allmänhet.
Ett annat tvåstegssystem föreslås i REF genom att först bygga en multi-entity-märkning bildigenkänning modell för att förutsäga abstrakta begrepp och sedan utnyttja sådana begrepp som en extern semantisk uppmärksamhet och begränsad inferens för meningsgenerering.
Describing Natural Images Containing Novel Objects with Knowledge Guided Assitance
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}