Vi föreslår en end-to-end strategi för det naturliga språket objekthämtning uppgift, som lokaliserar ett objekt inom en bild enligt en naturlig språk beskrivning, dvs. hänvisning uttryck. Tidigare arbeten delar upp detta problem i två oberoende steg: för det första beräkna regionförslag från bilden utan att utforska språkbeskrivningen, för det andra poängsätt objektförslagen med avseende på det referensuttrycket och välj de högst rankade förslagen. Objektförslagen genereras oberoende av det angivna uttrycket, vilket gör att förslagsgenereringen blir överflödig och till och med irrelevant för det angivna föremålet. I detta arbete utbildar vi en agent med djupt förstärkande inlärning, som lär sig att flytta och omforma en avgränsande låda för att lokalisera objektet enligt det refererande uttrycket. Vi införlivar både den rumsliga och tidsbundna kontextinformationen i utbildningsförfarandet. Genom att samtidigt utnyttja lokal visuell information, det rumsliga och tidsmässiga sammanhanget och det referensspråket a priori väljer agenten en lämplig åtgärd att vidta vid varje tidpunkt. En särskild åtgärd definieras för att ange när agenten finner det angivna föremålet och avsluta förfarandet. Vi utvärderar vår modell på olika datauppsättningar, och vår algoritm överträffar avsevärt de jämförda algoritmerna. Särskilt exaktheten förbättring av vår metod över den senaste metoden Grounder och SCRC på ReferItGame dataset är 7,67% respektive 18,25%, respektive.
Djup förstärkning Lärandebaserade metoder har också utforskats REF som i princip tränar en agent att flytta och omforma en avgränsande låda för att lokalisera objektet enligt hänvisningsuttryck.
An End-to-End Approach to Natural Language Object Retrieval via Context-Aware Deep Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}