Flerhopsläsningsförståelse (RC) frågor är utmanande eftersom de kräver läsning och resonemang över flera stycken. Vi hävdar att det kan vara svårt att bygga stora multi-hop RC dataset. Till exempel kan även mycket komplexa frågor besvaras med ett enda hopp om de riktar sig till specifika typer av enheter, eller om de fakta som behövs för att besvara dem är överflödiga. Vår analys är centrerad på HOTPOTQA, där vi visar att single-hop resonemang kan lösa mycket mer av datasetet än tidigare trott. Vi introducerar en enkel-hop BERT-baserad RC-modell som uppnår 67 F1-jämförbara till state-of-theart multi-hop-modeller. Vi utformar också en utvärderingsmiljö där människor inte visas alla nödvändiga punkter för den avsedda multi-hop resonemang men kan fortfarande svara på över 80% av frågorna. Tillsammans med detaljerad felanalys tyder dessa resultat på att det bör finnas en ökande fokusering på bevisens roll i multi-hop resonemang och eventuellt även en övergång till informationssökning stil utvärderingar med stora och olika bevissamlingar.
REF visar att även mycket komplexa frågor kan besvaras med ett enda humle om de riktar sig till specifika typer av enheter, eller om de fakta som behövs för att besvara dem är överflödiga.