Objektdetektering, scengrafikgenerering och regionrubrikering, som är tre scenförståelseuppgifter på olika semantiska nivåer, knyts samman: scengrafik genereras ovanpå objekt som detekteras i en bild med deras parvisa förhållande förutsagda, medan regionrubrikering ger en språkbeskrivning av objekten, deras attribut, relationer och annan kontextinformation. I detta arbete, för att utnyttja de ömsesidiga kopplingarna över semantiska nivåer, föreslår vi en ny neural nätverksmodell, kallas Multi-level Scene Description Network (benämns som MSDN), att lösa de tre vision uppgifter gemensamt på ett end-to-end sätt. Objekt, fras och bildtext regioner är först i linje med en dynamisk graf baserat på deras rumsliga och semantiska anslutningar. Sedan används en funktion förfinande struktur för att skicka meddelanden över de tre nivåerna av semantiska uppgifter genom grafen. Vi jämför den lärda modellen på tre uppgifter, och visa det gemensamma lärandet över tre uppgifter med vår föreslagna metod kan ge ömsesidiga förbättringar jämfört med tidigare modeller. Särskilt på scenen grafgenerering uppgift, vår föreslagna metod överträffar den senaste metoden med mer än 3% marginal. Koden har gjorts tillgänglig för allmänheten 1.
I REF infördes regionrubriken som en uppgift på högre semantisk nivå för scengrafikgenerering, så objekten, parvisa relationer och regionrubriker hjälper modellen att lära sig representationer från tre olika semantiska nivåer.
Scene Graph Generation from Objects, Phrases and Region Captions
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}