En nyckelkomponent i att framgångsrikt läsa ett textavsnitt är förmågan att tillämpa kunskap som vunnits från passagen till en ny situation. För att underlätta utvecklingen av denna typ av läsning presenterar vi ROPES, ett utmanande riktmärke för läsförståelse som syftar till att resonera över punkteffekter i situationer. Vi inriktar oss på expositionsspråk som beskriver orsaker och effekter (t.ex. "djurpollinatorer ökar effektiviteten i gödsling i blommor"), eftersom de har tydliga konsekvenser för nya situationer. Ett system presenteras ett bakgrundsavsnitt som innehåller åtminstone en av dessa relationer, en ny situation som använder denna bakgrund, och frågor som kräver resonemang om effekterna av relationerna i bakgrundsavsnittet i samband med situationen. Vi samlar in bakgrundsavsnitt från vetenskapliga läroböcker och Wikipedia som innehåller sådana fenomen, och ber publikarbetare att skriva situationer, frågor och svar, vilket resulterar i en 14,102 frågeuppsättning. Vi analyserar utmaningarna med denna uppgift och utvärderar prestandan hos toppmoderna läsförståelsemodeller. Den bästa modellen presterar bara något bättre än att slumpmässigt gissa ett svar av rätt typ, på 51,9% F1, långt under den mänskliga prestandan på 89,0%.
ROPES (Resoning över punkteffekter i situationer) REF är liknande, utom den allmänna kunskapen ingår i en styckelång passage och måste tillämpas på en paragraph-längd situation.
Reasoning Over Paragraph Effects in Situations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}