Visuell grundläggning syftar till att lokalisera ett objekt i en bild som refereras till av en textual frågefras. Olika visuella jordningsmetoder har föreslagits, och problemet kan moduleras in i en allmän ram: förslagsgenerering, multimodal funktionsrepresentation och förslagsrankning. Av dessa tre moduler är de flesta befintliga strategier inriktade på de två sistnämnda, och vikten av att ta fram förslag försummas i allmänhet. I detta dokument omprövar vi problemet med vilka egenskaper som är en bra förslagsgenerator. Vi inför mångfald och diskriminering samtidigt när vi tar fram förslag, och föreslår därmed en modell för diversifierade och diskriminerande förslagsnätverk (DDPN). Baserat på de förslag som genereras av DDPN, föreslår vi en högpresterande baslinjemodell för visuell jordning och utvärdera den på fyra referensdatauppsättningar. Experimentella resultat visar att vår modell ger betydande förbättringar av alla testade datamängder (t.ex. 18,8% förbättring av ReferItGame och 8,2% förbättring av Flickr30k-enheter jämfört med de befintliga toppmoderna).
I DDPN REF ) lärde de sig ett diversifierat och diskriminerande förslagsnätverk för att generera objektkandidater av högre kvalitet.
Rethinking Diversified and Discriminative Proposal Generation for Visual Grounding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}