Vi fokuserar på grundläggning (dvs. lokalisering eller länkning) referensuttryck i bilder, t.ex. "största elefant som står bakom elefantunge". Detta är en allmän men utmanande visionsspråksuppgift eftersom den inte bara kräver lokalisering av objekt, utan också multimodal förståelse av kontextuella egenskaper (t.ex. "största", "baby") och relationer (t.ex. "bakom") som bidrar till att skilja referensen från andra objekt, särskilt de i samma kategori. På grund av den exponentiella komplexiteten i att modellera det sammanhang som är förknippat med flera bildregioner, förenklar det befintliga arbetet denna uppgift till parvis regional modellering genom flera instans lärande. I detta dokument föreslår vi en variantell Bayesiansk metod, kallad Variational Context, för att lösa problemet med komplexa kontextmodellering i hänvisning av uttryck som grundar sig på. Vår modell utnyttjar det ömsesidiga förhållandet mellan referensen och sammanhanget, d.v.s. någon av dem påverkar uppskattningen av den bakre fördelningen av den andra, och därmed kan sökområdet i sammanhanget minskas avsevärt. Vi utökar även modellen till oövervakad inställning där ingen notering för referensen finns tillgänglig. Omfattande experiment på olika riktmärken visar konsekvent förbättring jämfört med toppmoderna metoder i både övervakade och oövervakade inställningar. Koden finns på https: // github.com/ yuleiniu/ vc/. * Hanwang var forskare vid Columbia University. † Yulei var gäststudent vid Columbia University.
Zhang m.fl. I REF föreslås en variant av Bayesian-metoden för att utnyttja förhållandet mellan referensen och sammanhanget.
Grounding Referring Expressions in Images by Variational Context
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}