På senare tid har stora framsteg gjorts när det gäller att lära sig allmänna meningsrepresentationer som kan användas över olika områden. De flesta av de befintliga modellerna behandlar dock varje ord i en mening på samma sätt. Däremot har omfattande studier visat att människor läser meningar effektivt genom att göra en sekvens av fixering och sakkader. Detta motiverar oss att förbättra meningsrepresentationer genom att tilldela olika vikter till vektorerna i komponentorden, som kan behandlas som en uppmärksamhetsmekanism för enstaka meningar. Därför föreslår vi två nya uppmärksamhetsmodeller, i vilka uppmärksamhetsvikterna härleds med hjälp av betydande prediktorer av människans lästid, dvs. Surprisal, POS-taggar och CCG-supertaggar. De omfattande experimenten visar att de föreslagna metoderna avsevärt förbättras med hjälp av de senaste modellerna för straffrepresentation.
I REF, Wang et al. har visat att människor läser meningar genom att göra en sekvens av fixeringar och sakkader.
Learning Sentence Representation with Guidance of Human Attention
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}