Många visioner och språkmodeller lider av dålig visuell grund - ofta faller tillbaka på lättlärda språk tidigare snarare än att associera språk med visuella begrepp. I detta arbete föreslår vi ett generiskt ramverk som vi kallar "Människoviktig-medveten nätverkstunning" (HINT) som effektivt utnyttjar mänsklig övervakning för att förbättra visuell jordning. HINT begränsar djupa nätverk till att vara känsliga för samma insatsregioner som människor. Avgörande är att vår strategi optimerar anpassningen mellan mänskliga uppmärksamhetskartor och gradientbaserade nätverks betydelser -att säkerställa att modeller lär sig inte bara att titta på utan snarare förlita sig på visuella begrepp som människor fann relevanta för en uppgift när de gjorde förutsägelser. Vi visar vårt förhållningssätt till Visual Question Answering and Image Captioning uppgifter, uppnå state-of-the-art för VQA-CP dataset som straffar över-tillit till språk priors.
Selvaraju m.fl. REF optimerar anpassningen mellan människokartor och gradientbaserad nätverksvikt för att förbättra prestandan på Visual Question Answering och Image Captioning uppgifter.
Taking a HINT: Leveraging Explanations to Make Vision and Language Models More Grounded
{'venue': 'The IEEE International Conference on Computer Vision (ICCV) 2019', 'journal': None, 'mag_field_of_study': ['Computer Science']}