Abstrakt. Behovet av att göra Semantic Web bättre tillgänglig för lekmän och införandet av interaktiva system och smarta assistenter för webben har gett upphov till en ny generation av RDF-baserade frågesvarssystem. Den rättvisa utvärderingen av dessa system är dock fortfarande en utmaning på grund av de olika typer av svar som de ger. Att upprepa aktuella publicerade experiment eller till och med benchmarking på samma datauppsättningar är därför fortfarande en komplicerad och tidskrävande uppgift. Vi presenterar en ny online-benchmarkingplattform för frågesvar (QA) som bygger på FAIR-principerna för att stödja den finslipade utvärderingen av frågesvarssystem. Vi presenterar hur plattformen adresserar den rättvisa benchmarking-plattformen av frågesvarssystem genom omskrivning av URI:er och webbadresser. Dessutom genomför vi olika utvärderingsmått, åtgärder, datauppsättningar och förimplementerade system samt möjligheter att arbeta med nya format för interaktiv och icke-interaktiv benchmarking av frågesvarssystem. Vår analys av de nuvarande ramarna visar att de flesta av de nuvarande ramarna är skräddarsydda för särskilda datauppsättningar och utmaningar, men att de inte tillhandahåller generiska modeller. Dessutom, medan de flesta ramar fungerar bra i annotering av enheter och egenskaper, generation av SPARQL frågor från kommenterad text förblir en utmaning.
GERBIL-QA-plattformen REF är den första öppna benchmarkingplattformen för frågesvar som följer FAIR-principerna.
Benchmarking question answering systems
{'venue': 'Semantic Web', 'journal': 'Semantic Web', 'mag_field_of_study': ['Computer Science', 'Psychology']}