Semantiskt komplexa frågor som inkluderar attribut för objekt och relationer mellan objekt utgör fortfarande en stor utmaning för bildsökningssystem. Det senaste arbetet i datorseendet har visat att en grafbaserad semantisk representation som kallas scengraf är en effektiv representation för mycket detaljerade bildbeskrivningar och för komplexa frågor för hämtning. I den här artikeln visar vi att scengrafer kan skapas automatiskt från en beskrivning av ett naturligt språk. Vi presenterar en regelbaserad och en klassificeringsbaserad scendiagramtolk vars utgång kan användas för bildsökning. Vi visar att inkludera relationer och attribut i frågegrafen överträffar en modell som bara tar hänsyn till objekt och att använda utdata från våra tolker är nästan lika effektivt som att använda mänskliga-konstruerade scengrafer (Recall@10 av 27,1% jämfört med 33,4%). Dessutom visar vi den allmänna nyttan av tolkning till scen grafer genom att visa att utdata också kan användas för att generera 3D-scener.
Referensreferensreferensen föreslog en regel- och klassificeringsbaserad scendiagramtolk för bildsökning.
Generating Semantically Precise Scene Graphs from Textual Descriptions for Improved Image Retrieval
{'venue': 'VL@EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}