Den enkla frågor dataset är en av de vanligaste riktmärken för att studera singel-relation faktaoid frågor. I detta dokument lägger vi fram nya bevis för att detta riktmärke nästan kan lösas med hjälp av standardmetoder. För det första visar vi att tvetydighet i datagränserna leder till resultat på detta riktmärke på 83,4 procent; det finns ofta flera svar som inte kan redas ut enbart från den språkliga signalen. För det andra inför vi en baslinje som sätter en ny toppmodern prestandanivå på 78,1 % noggrannhet, trots att standardmetoder används. Slutligen rapporterar vi en empirisk analys som visar att den övre gränsen är lös; ungefär en tredjedel av de återstående felen kan inte heller lösas ur den språkliga signalen. Tillsammans, dessa resultat tyder på att SimpleQuestions dataset är nästan löst.
REF använder en BiLSTM för att klassificera relationerna och uppnå de senaste resultaten.
SimpleQuestions Nearly Solved: A New Upperbound and Baseline Approach
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}