När människor läser text, fixerar de några ord och hoppar över andra. Det har dock gjorts få försök att förklara hoppa beteende med beräkningsmodeller, eftersom de flesta befintliga arbete har fokuserat på att förutsäga lästider (t.ex. med hjälp av surprisal). I detta dokument föreslår vi ett nytt tillvägagångssätt som modellerar både hoppa och läsa, med hjälp av en oövervakad arkitektur som kombinerar en neural uppmärksamhet med automatisk kodning, tränad på rå text med hjälp av förstärkning lärande. Vår modell förklarar mänskligt läsbeteende som en kompromiss mellan precision av språkförståelse (koda indata korrekt) och ekonomi av uppmärksamhet (fastställ så få ord som möjligt). Vi utvärderar modellen på Dundee eyetracking corpus, visar att den exakt förutsäger hoppa beteende och lästider, är konkurrenskraftig med surprisal, och fångar kända kvalitativa egenskaper i mänsklig läsning.
REF föreslår ett nytt tillvägagångssätt för att modellera både hoppa över och läsa med oövervakad metod som kombinerar neural uppmärksamhet med auto-encoding tränas på rå text med hjälp av förstärkning lärande.
Modeling Human Reading with Neural Attention
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}