Abstrakt. Grundläggning (dvs. lokalisering) godtyckliga, fria textfraser i visuellt innehåll är ett utmanande problem med många tillämpningar för människa-datorinteraktion och bild-text referensupplösning. Få dataset ger marken sanning rumslig lokalisering av fraser, därför är det önskvärt att lära sig från data utan eller lite jordning övervakning. Vi föreslår ett nytt tillvägagångssätt som lär sig grundläggning genom att rekonstruera en given fras med hjälp av en uppmärksamhetsmekanism, som kan antingen latent eller optimeras direkt. Under utbildningen kodar vårt tillvägagångssätt frasen med hjälp av en återkommande nätverksspråkmodell och lär sig sedan att ta hand om den relevanta bildregionen för att rekonstruera inmatningsfrasen. Vid provtillfället utvärderas korrekt uppmärksamhet, dvs. grundläggningen. Om grundövervakning är tillgänglig kan den direkt tillämpas via en förlust över uppmärksamhetsmekanismen. Vi visar effektiviteten i vår strategi för Flickr 30k-enheter [35] och ReferItGame [26] dataset med olika nivåer av tillsyn, allt från ingen tillsyn över partiell tillsyn till fullständig tillsyn. Vår övervakade variant förbättras med stor marginal över toppmoderna på båda datauppsättningarna.
Arbetet i REF visar att lokaliseringsmålet kan optimeras genom att rekonstruera en fras korrekt efter att modellen lär sig att ta hand om en meningsfull avgränsande ruta.
Grounding of Textual Phrases in Images by Reconstruction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}