Uppmärksamhetsmekanismer har nyligen införts i djupinlärning för olika uppgifter inom behandling av naturligt språk och datorseende. Men trots sin popularitet har "korrektheten" i de implicit lärda uppmärksamhetskartorna endast bedömts kvalitativt genom visualisering av flera exempel. I detta dokument fokuserar vi på att utvärdera och förbättra riktigheten av uppmärksamhet i neurala bildtextmodeller. I synnerhet föreslår vi en kvantitativ utvärderingsmått för hur väl uppmärksamhetskartorna överensstämmer med mänskligt omdöme, med hjälp av nyligen utgivna dataset med anpassning mellan regioner i bilder och enheter i bildtexter. Vi föreslår sedan nya modeller med olika nivåer av explicit handledning för att lära uppmärksamhet kartor under utbildningen. Övervakningen kan vara stark när anpassningen mellan regioner och underrubriker är tillgänglig, eller svag när endast objektsegment och kategorier tillhandahålls. Vi visar på de populära Flickr30k- och COCO-dataseten att införandet av övervakning av uppmärksamhetskartor under träningen på ett fast sätt förbättrar både uppmärksamhetsnoggrannheten och bildtextkvaliteten.
REF undersöker om uppmärksamheten är korrekt för bildtextering.
Attention Correctness in Neural Image Captioning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}