Tidigare arbete med Recursive Neural Networks (RNN) visar att dessa modeller kan producera vektorer för kompositionsfunktion för att korrekt representera och klassificera meningar eller bilder. Men mening vektorer av tidigare modeller kan inte exakt representera visuellt jordad mening. Vi introducerar DT-RNN modellen som använder beroende träd för att bädda in meningar i en vektor utrymme för att hämta bilder som beskrivs av dessa meningar. Till skillnad från tidigare RNN-baserade modeller som använder valkretsträd, DT-RNNs naturligtvis fokusera på åtgärder och agenter i en mening. De är bättre i stånd att abstrahera från detaljerna i ordordning och syntaktiskt uttryck. DT-RNNs överträffar andra rekursiva och återkommande neurala nätverk, kärna CCA och en bag-of-words baslinje på uppgifterna att hitta en bild som passar en mening beskrivning och vice versa. De ger också mer liknande framställningar till meningar som beskriver samma bild.
Till exempel Socher et al. REF föreslog beroendeträdet-RNN, som använder beroende träd för att bädda in meningar i ett vektorutrymme, och utför sedan bildtextsökning med den inbyggda vektorn.
Grounded Compositional Semantics for Finding and Describing Images with Sentences
{'venue': 'Transactions of the Association for Computational Linguistics', 'journal': 'Transactions of the Association for Computational Linguistics', 'mag_field_of_study': ['Computer Science']}