Lokalisera naturliga språkfraser i bilder är ett utmanande problem som kräver gemensam förståelse av både text och visuella metoder. I den oövervakade situationen förvärrar bristen på övervakningssignaler denna svårighet. I detta dokument föreslår vi en ny ram för oövervakad visuell grundläggning som använder konceptinlärning som en proxyuppgift för att få självövervakning. Intuitionen bakom denna idé är att uppmuntra modellen att lokalisera till regioner som kan förklara vissa semantiska egendom i data, i vårt fall, egenskapen är närvaron av ett koncept i en uppsättning bilder. Vi presenterar noggranna kvantitativa och kvalitativa experiment för att visa effektiviteten i vår strategi och visa en 5,6 % förbättring jämfört med den nuvarande tekniken på Visual Genome dataset, en 5,8 % förbättring av ReferItGame dataset och jämförbar med toppmodern prestanda på Flickr30k datasetet.
Ett nytt arbete REF använder konceptinlärning som en uppgift att lära sig självövervakade lokaliseringsmönster, men kan medföra problem med minskad generalisering och begränsningar i antalet möjliga begrepp som ska läras.
Learning Unsupervised Visual Grounding Through Semantic Self-Supervision
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}